FlashLabsが提供する新機能「Orca Connect」でAIモデルの接続が革命的に進化！

FlashLabsが新機能「Orca Connect」を発表

FlashLabs株式会社は、日本市場向けに独占提供しているAI推論ゲートウェイ「OrcaRouter」に新たな機能「Orca Connect」を加えたことを発表しました。これにより、ユーザーはローカルGPU上で動作するAIモデルを簡単に外部と共有できるようになります。まずはこの革新的な機能の詳細を見ていきましょう。

Orca Connectの特徴

Orca Connectは、Ollama、vLLM、LM Studioなど、ローカルで動作するAIモデルをOrcaRouterのカタログに追加できるコネクタです。このコネクタを使用すると、ポートの開放や複雑な設定を行うことなく、セキュアなAPIとして外部に公開することが可能です。利用者は、自分のノートPCやスマートフォン、さらにはクラウド環境で、普段使っているAPIキーをそのまま利用してモデルを呼び出すことができます。

主なポイントは以下の通りです：

- 無料での利用：自前のGPUが処理を行う場合、ホスト型モデルが応答した時のみ課金されます。
- シンプルな接続：ポート開放やファイアウォールの設定が不要で、外向き接続のみで済む設計です。
- 多様な対応ランタイム：OllamaやvLLMなど、合計6種類のランタイムに対応。
- 簡単なチーム共有：有効期限とリクエスト上限のあるリンクを生成し、安全に共有できます。
- セキュリティ的な安心感：すべてのプランで暗号化リレーとZero Data Retentionを利用可能です。

開発の背景

AIモデルの利用が広がる中で、ローカル環境で模型を動かすことが必要とされる場面が増えています。しかし、従来はローカルモデルを外部と共有するために専門的な知識が必要でした。そこで誕生したのがOrca Connectです。この機能の実装により、利用者は自分の環境で動くモデルを手軽にAPIとして利用できるようになります。この接続の「壁」を取り除くことが、Orca Connectの狙いです。

仕組みと接続方法

Orca Connectの利用は、以下の4つのステップで行います：
1. インストール：管理画面からOSに応じたインストールコマンドを取得し、インストーラーを実行します。これは署名済みリリースで、セキュリティも確保されています。
2. サインイン：承認フローを通じてマシンを接続します。
3. モデルの選択：共有したいモデルを確認し選びます。
4. 接続開始：接続が開始され、モデルがカタログに登録されます。

この仕組みは、個別のリクエストを個別のストリームで運びます。受信ポートが開かれないため、開始するまでは共有情報は一切公開されません。

課金とスピルオーバーの透明性

Orca Connectでは、ローカルマシンが処理したリクエストには特定のマークが付けられるため、課金が明確です。ローカルハードウェアが処理したものは無料で、ホスト型モデルが応答する際のみ課金されます。また、応答できなかった場合は「スピルオーバー機能」により、指定したホスト型モデルが代わりに応答する仕組みも用意されています。

この機能は、様々な状況を考慮した設計がされており、特定の条件下でホスト型モデルが対応するため、柔軟性を持った利用が可能です。

セキュリティ強化の取り組み

Orca Connectでは、共有手段としてパスワードを使わず、モデルへのリンクを生成します。受け取った相手は自分のアカウントでサインインを行うため、APIキーが漏れることはありません。このような設計により、セキュリティ面も強化されています。

さらに、ローカル専用キーの設定により、そのリクエストはローカルマシンのみで処理されることが可能です。接続は暗号化され、プロンプトやレスポンスは保存されないため、プライバシーも保護されています。

今後の展望

FlashLabsは、OrcaRouterを通じてローカルとクラウドの境界を曖昧にし、利用者に選択権を与え続けます。Orca Connectにより、企業や開発者はデータの主権を保持しながら、コスト管理のニーズにも応えていくことが期待されています。

会社情報

FlashLabs株式会社の本社は東京都千代田区に位置し、2023年7月に設立されました。AIの応用研究に力を入れ、顧客体験の自動化やOSS音声モデルの開発を行っています。あるいは、米国のContinuum AIとも連携し、次世代の知能システムの基盤インフラを研究・開発しています。これからの展開が注目されます。