OrcaRouter、320B級LLM「GLM-5.3-Flash」のMLX量子化版を公開

FlashLabs株式会社は、日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」において、Z.ai社のオープンウェイトLLM「GLM-5.3-Flash」をApple Silicon向けに最適化したMLX量子化版「GLM-5.3-Flash-MLX」を公開しました。総パラメータ320B、アクティブパラメータ18B、1Mトークンのコンテキスト長を持つ大規模モデルです。量子化の強度が異なる「2-bit Lite」「2-bit」「3-bit」「4-bit」「6-bit」の5バリアントを用意し、Hugging Face上でMITライセンスのもと無償で提供しています。

本モデルには、開発元独自の量子化手法「OrcaSAQ」（Orca Sensitivity-Aware Quantization）が採用されています。キャリブレーション用データを必要とせず、モデルの構造に応じて精度保持に重要なテンソルを高精度に保つ混合精度量子化方式です。これにより、性能とメモリ使用量のバランスを高水準で両立しています。最上位の6-bit版では、FP8版と比較してTop-1一致率97.76%というほぼ無損失の検証結果が得られています。

当初公開された最軽量の2-bit版でもモデルサイズは約145GB、必要メモリは約160GBに達し、128GBメモリ搭載のMacBook Proでの実行は実用的ではないことが判明しました。この検証結果を受け、開発チームはメモリ使用量を最優先に最適化した専用バリアント「2-bit Lite」を2026年8月27日に追加しました。モデルサイズは約102GB、必要メモリは約112GBまで圧縮され、128GBメモリ搭載のMacBook Pro（M4/M5 Max）で動作します。1Mトークンのコンテキストやマルチモーダル入力といった基本性能は維持されています。

本モデルはHugging Face上でMITライセンスのもと無償公開されており、誰でもダウンロードして利用できます。ローカル実行が難しい環境では、OrcaRouterのAPIからフル精度のまま利用可能です。OrcaRouterは、OpenAI互換のAPIを備え、Anthropic、OpenAI、Google Gemini、DeepSeek、Grok、Qwenなど200以上のLLM・生成AIモデルを単一のゲートウェイから利用できます。FlashLabsは今後も、大規模モデルを身近なデバイスで活用できるようにする量子化技術の研究開発と、モデルカタログの拡充を進めるとしています。

A. Z.ai社の320B級LLM「GLM-5.3-Flash」を、Apple Silicon搭載Macで動かせるように量子化したモデルです。2-bit Liteから6-bitまで5種類のバリエーションがあります。

A. 128GBメモリを搭載したMacBook Pro（M4/M5 Max）で動作します。モデルサイズは約102GB、必要メモリは約112GBです。

A. 開発元の検証では、FP8版と比較してTop-1一致率97.76%と、ほぼ無損失の精度を達成しています。

• orcarouter/GLM-5.3-Flash-MLX
• GLM-5.3-Flashのモデルページ
• GPT-5.6
• Claude Opus 5
• Gemini 3.6 Flash
• Grok 4.6
• Muse Spark 1.2
• OrcaRouter
• AIモデル一覧
• https://www.flashlabs.ai/
• https://www.continuum01.ai/
• https://www.orcarouter.ai/ja

O!Productニュース編集部からのコメント

320B級を128GBメモリのMacBook Proで動かせるのは大きいですね。データを外に出せない案件で、この選択肢は助かりそうです。

引用元：PR TIMES