大規模視覚言語モデルの『忘却』技術が効率化を実現！

大規模視覚言語モデルにおける『忘却』の革新技術

背景と必要性
人工知能の発展に伴い、大規模事前学習済み視覚-言語モデル（VLM）は多くの応用が期待されています。しかし、その一方で、計算資源の消費が大きく、すべての機能が実用的でない場合が見受けられます。特に、特定のクラスのオブジェクト認識だけが求められる場面では、不要な機能がモデルの性能に負担をかけることがあります。
例えば、自動運転車のシステムでは、車両や歩行者、交通標識など特定のオブジェクトのみを認識すれば十分です。このため、機能の選択的な管理が求められています。

『Black-Box忘却』技術の開発
東京理科大学の研究グループは、理解の難しい大規模モデルでも選択的に知識を“忘却”させる技術「Black-Box忘却」を開発しました。これにより、不要な知識がモデルに漏れ出すリスクを低くしつつ、必要な機能についての効率的な運用が可能となります。

本手法では、詳細が不明なモデルであっても、特定のクラスを認識できなくさせることができるため、商業的な理由から公開されていないモデルにも適用可能です。これにより、AIモデルはより効率的に実用化されることが見込まれています。

手法の概要と効果
本研究では、従来のホワイトボックス設定に依存せず、ブラックボックスモデルでも有効なテクニックとして、微分フリー最適化手法を用いました。この技術は複雑な環境での学習を可能にし、特定のクラスの知識を忘却することで計算効率を高めます。
さらに、潜在コンテキスト共有（Latent Context Sharing）という新たなパラメータ設定を用い、効率的な最適化を実現し、従来の手法を凌駕する性能を収めました。

実用ベースでの影響
この技術が成功すれば、以下のような実用的な課題に対し、新たな解決策を提供できます。
1. 「忘れられる権利」の実現
デジタル情報が膨大になる中、利用者の権利を守るために特定のデータをモデルから削除するニーズが高まっています。選択的忘却技術を使用することで、これに効率的に対応できます。
2. 効率的なVLMの構築
モデルが認識できる物体のクラス数を減少させることで、サイズや消費電力を抑え、性能を向上させることが可能になります。
3. 画像生成のコントロール
生成する画像の内容を特定の条件に基づいて制御できるようになることが期待され、特に望ましくないコンテンツの生成を避ける技術が発展する可能性があります。

未来への期待
研究チームを率いる入江准教授は、「この選択的忘却技術は、軽量かつ効率的なAIモデルの実現につながる可能性がある」と将来の発展を見据えています。これに伴い、AIがより多くの分野で活用される道が開かれることでしょう。

発表情報
今回の研究結果は、2024年12月にカナダ・バンクーバーで開催される「Neural Information Processing Systems（NeurIPS 2024）」にて発表される予定です。学会においても注目されているこのテーマが、さらなる進化を遂げることに期待が寄せられています。