InfiniMindが日本語動画AIの評価基盤「NARU Bench」を発表、新たな挑戦

InfiniMindが挑む日本語動画理解の新たな評価基盤

最近、AI技術が急速に進化し、特に動画解析において目覚ましい進展を見せています。しかし、動画における「空気を読む」能力、つまり文化的背景や人間関係の微妙なニュアンスを理解することは、依然として大きな課題です。そんな中、InfiniMindは日本語動画理解を測定するための新たな評価基盤「NARU Bench（Narrative And cultural Reasoning Understanding）」を公開しました。このシステムは、東京大学と共同で開発され、AIが日本のメディアの文脈でどれほど理解を深めているかを評価することを目的としています。

NARU Benchの背景

日本国内の動画コンテンツ市場は、2025年までに約6,300億円に達すると予測されています。これらの動画は単なる映像データではなく、文化的な要素が強く含まれています。日本語特有の表現や、場の雰囲気が意味するところを理解するには、高度なAI能力が求められます。しかし従来のベンチマークは、短尺のクリップや英語コンテンツに依存し、深い文化的理解を測ることができていませんでした。

NARU Benchは、日本語の長尺動画を利用してこのギャップを埋める新しいアプローチです。155本のYouTube動画から構成されるこのベンチマークは、合計1,481問の多肢選択問題を提供します。

具体的な内容

NARU Benchは、約30分から240分といった長尺のインタビューや対談動画から設計されています。各質問は日本語で表現されており、明示的な情報を超える理解が求められます。具体的には、物語理解力を測る745問、文化的理解力を測る736問が含まれており、質問には動画を実際に観ることが必要です。この構造により、従来の簡易な質問形式とは異なり、より深い理解を促進します。

データの収集プロセスも細かく設計されています。約10万本の動画をAIによる自動音声認識でフィルタリングした後、最終的なセレクションは人間のレビュアーによって行われ、映像の内容や物語性の連続性など、多面的に評価されました。

モデルの性能評価

NARU Benchを利用して既存モデルをテストした結果、複数のモデルが約25%の正答率にとどまることが明らかになりました。中には、強力なオープンソースモデルもありますが、依然として人間の理解力には大きな隔たりが残っています。注目すべきは、最も性能を発揮したDeepFrame Platformが55.3%の正答率を達成したことです。これにより、動画全体にわたる検索能力とエージェント的推論を組み合わせることで、より高次の理解が可能であることが示されました。

今後の展望

InfiniMindは、NARU Benchを通じて日本語動画理解に特化したAIモデルのさらなる発展を目指しています。今後は、他のメディア形式や動画コンテンツをデータとして統合し、評価手法の継続的な改善も行う予定です。また、評価方法についての論文も準備中で、研究コミュニティと連携しながら進めていく考えです。

NARU Benchの公開により、AIが日本語動画の理解をどのように深化させることができるのか、今後の研究に対する期待がさらに高まります。AI技術が日本の文化やコンテンツを理解するためには、確かな評価基盤が不可欠です。InfiniMindの新たな試みに、注目が集まるのは間違いありません。