FlashLabsが開発した「GLM-5.3-MLX」で大規模LLMを手元で実行可能に！

FlashLabsが「GLM-5.3-MLX」を発表

FlashLabs株式会社（本社：東京都千代田区）が、米国のAI研究機関Continuum AIにより開発されたAI推論ゲートウェイ「OrcaRouter」の新しい機能を発表しました。それは、Z.ai社が提供するオープンウェイトの大規模言語モデル「GLM-5.3」をApple Siliconに最適化した「GLM-5.3-MLX」です。この新モデルは、1.5TBを超えるデータを1台のMacで効率よく扱うことができる点が特徴です。

GLM-5.3-MLXの主な特長

「GLM-5.3-MLX」は、総パラメータ数が約743Bでアクティブパラメータが40Bのフルモデルです。従来の「Flash版」や「蒸留版」ではなく、元の性能を維持した状態での提供がなされており、開発者がより強力なAIアプリケーションを構築するための基盤を提供します。特に開発元独自の量子化手法「OrcaSAQ」によって、モデルサイズを約79％削減しました。これにより、ユーザーはFP8形式で約1.51TBだったサイズを、2-bit版では約322GBまで小型化しつつ、約80.2％の精度を保持しています。

さらに、GLM-5.3-MLXは、2-bitから6-bitまでの4つのバリアントが用意されており、特に512GBメモリを備えたMac（M3 Ultra）では、2-bitおよび3-bitのモデルを快適に使用でき、4-bitも導入可能です。6-bit版は、分散構成を組むことで使用できますが、メモリ容量には十分な注意が必要です。

複雑な実行環境のハードルを越える

大規模言語モデルのローカル実行は多くのデータを処理するため、従来は高性能のサーバーや特別なハードウェアが必要でしたが、「GLM-5.3-MLX」はそれを解消します。運用コストを削減しながら、データ送信の必要がなくなり、低レイテンシーでのモデル実行が可能になるため、開発者や企業にとって大きな魅力となります。

今後の展望

FlashLabsは、OrcaRouterの研究開発を続け、より多くのモデルを開発する計画を持っています。AIに関連するさまざまな技術が急速に進化する中で、国内外の開発者に向けた多彩なAIソリューションを提供することを目指しています。また、Hugging Faceプラットフォーム上でもGLM-5.3-MLXは公開されており、既に多くの開発者がこの技術に触れています。

今後、このモデルの提供が市場にどのような変化をもたらすのか、私たちも注目していきたいところです。