Mac専用のローカルLLM基盤「Swama」公開！AI処理速度が大幅向上

Mac向け新オープンソース基盤「Swama」登場

トランスエヌ株式会社が新たに発表した「Swama」は、MacOS上で大規模言語モデル（LLM）を効率よく実行できるオープンソースの基盤です。この取り組みは、Apple製のプログラミング言語「Swift」と機械学習フレームワーク「MLX」を活用し、特にMacに最適化されています。

Swamaの実力

「Swama」は、他のローカルLLM基盤であるOllamaよりも処理速度が150〜200%向上していることが報告されています。トークン毎秒（tokens/s）の処理能力は、AIが自然言語を理解し生成する際の重要な指標であり、この数値が高いほど処理能力が高いことを示しています。こうして得られた成果は、Appleの機械学習リサーチサイエンティストであるAwni Hannun氏にも高く評価されています。

Macの特性をフル活用

「Swama」は、Swift言語だけで開発されているため、Mac専用のスピードを最大限に発揮します。これにより、従来のGPU依存から脱却し、よりスムーズなLLM推論を可能にしました。また、Apple製のAIエンジンであるMLXを利用し、CPU・GPU・Neural Engineを同時に活用することで、AIの処理を加速することができます。

OpenAIと互換性あり

「Swama」は、OpenAIのAPIと互換性があるため、従来のツールやアプリとの接続が容易です。これにより、ユーザーは設定を変更するだけで既存のワークフローに組み込むことが可能になりました。

文章生成から画像解析まで

「Swama」は、文章生成だけでなく画像の解析にも対応しており、Mac一台で豊かなAI体験を提供します。これにより、ユーザーは多様な生成AIアプリケーションを利用できるようになります。

開発の背景

トランスエヌの開発責任者は、旧プロダクトではMac上での性能が不足していたが、独自の「N-Cube」を基盤にして、「Swift」と「MLX」を用いてゼロから再構築したのが「Swama」であると語ります。このアプローチにより、Ollamaとの比較で1.5〜2倍の速度を実現しました。また、オープンソースとして公開することで、Appleエコシステムにおける生成AIの活性化を目指しています。

トランスエヌ株式会社について

トランスエヌは、AIネイティブ組織になるためのソリューションを提供するスタートアップです。AIプラットフォーム「N-Cube」や企業向けの議事録ソリューション「N-Note」などを手掛けています。今後もこの分野での発展が期待されます。

所在地は東京都文京区向丘にあり、2024年3月に設立されたばかりの企業です。詳細情報は公式サイトをご覧ください。