OrcaRouterが1台のMacで動く大規模LLM「GLM-5.3-MLX」を公開

GLM-5.3はZ.ai社が開発したオープンウェイトの大規模言語モデルです。総パラメータ約743B、アクティブ40BのMoE構成で、100万トークンのコンテキストに対応します。FlashLabsはこのフルモデルをApple Silicon向けに最適化し、独自の量子化手法「OrcaSAQ」を適用しました。キャリブレーション用データを必要とせず、モデル構造に応じて重要な部分を高精度に保つ混合精度量子化です。これにより、FP8時点で約1.51TBあったモデルサイズを、2-bit版では約322GBまで削減しています。

GLM-5.3-MLXは2-bit、3-bit、4-bit、6-bitの4種類を提供します。512GBメモリを搭載するMac（M3 Ultra）では、2-bit版と3-bit版を快適に、4-bit版も構成次第でローカル実行できます。最上位の6-bit版は、2台の512GB Macを接続する分散実行か、8基のNVIDIA H200を使う構成を想定しています。6-bit版はFP8とのコサイン類似度が0.9997以上という検証結果が示されています。8-bit版を提供しない理由は、エキスパートウェイトがFP8の元データより大きくなるためです。

本モデルはHugging Face上で公開されており、用途や環境に応じて量子化の強度を選べます。UnslothによるGGUF版も提供されており、llama.cppなどGGUF対応の環境でも利用可能です。ローカル実行が難しい場合は、OrcaRouterのAPIを通じてフル精度のGLM-5.3を利用できます。OrcaRouterはOpenAI互換のAPIを備え、AnthropicやOpenAI、Google Geminiなど200以上のモデルを単一のゲートウェイから扱えるサービスです。

FlashLabsは今後も、大規模モデルを身近なデバイスで活用できるようにする量子化技術の研究開発と、モデルカタログの拡充を進めるとしています。OrcaRouterは米国のAI研究機関Continuum AIが開発し、FlashLabsが日本市場向けに独占提供しています。

A. Z.ai社の大規模言語モデル「GLM-5.3」を、Macで動かせるように圧縮・最適化したモデルです。2-bitから6-bitまでの4種類が公開されています。

A. 512GBメモリを搭載したMac（M3 Ultra）であれば、2-bit版から4-bit版をローカルで実行できます。6-bit版は2台のMacを接続する構成が必要です。

A. 開発元の検証では、2-bit版で約80.2%の精度を維持し、6-bit版はFP8とのコサイン類似度が0.9997以上と報告されています。

• orcarouter/GLM-5.3-MLX
• UnslothによるGGUF版
• GLM-5.3のモデルページ
• GPT-5.6
• Claude Opus 5
• Gemini 3.6 Flash
• Grok 4.6
• Muse Spark 1.2
• https://www.orcarouter.ai/ja
• AIモデル一覧
• https://www.flashlabs.ai/
• https://www.continuum01.ai/

O!Productニュース編集部からのコメント

743BのモデルをMacで動かせるのはすごいですね。データを外に出せない企業の検証環境に刺さりそうです。

引用元：PR TIMES