日本語文書検索を革新する！光数の新型AIモデル開発の概要

日本語文書検索を革新する！光数の新型AIモデル開発

光数株式会社は、日本語文書専用の次世代小型AIモデルの研究開発を始めました。このプロジェクトは、日本語の専門的な文書を高精度かつ迅速に検索・理解することを目的としています。

新しいアプローチ：ゼロからのモデル構築

本研究では、従来の多言語モデルを日本語向けに追加学習するのではなく、日本語文書中心のデータからゼロから小型モデルを事前学習します。このプロセスにより、特許や技術、法律、行政など多様な専門領域に特化した検索性能を実現することが可能です。単に関連文書を見つけるだけでなく、長文の中から重要な論点を伝える能力を持ったAIを目指しています。

NEDOとの連携による成果

光数は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）が実施した「GENIAC-PRIZE」に参加し、日本語文書に特化したAIモデルの開発に取り組んでいます。特許審査業務をモデルケースとして、大量の特許公報から関連文献を検索し、技術的な要点を効率的に抽出・比較するためのプロトタイプも開発済みです。

PoC（概念実証）の結果、専門文書検索におけるAIの活用が可能であることが確認されましたが、同時に二つの課題が明確になりました。最初は、検索精度を向上させるための「Reranker」という再ランキングモデルの処理負荷です。一般的な高精度文書検索では、候補を取り出した後、再評価を行う二段階構成が用いられていますが、文書数が増加することで、その処理にかかる時間やコストが課題となっています。

もう一つの課題は、専門業務に必要な情報を把握するために単純な文書の類似度だけでは不十分であるという点です。特許や技術資料など長文の場合、文書全体の似ているかどうかだけでなく、重要な技術要素や論点の位置を正確に把握する能力が求められます。

検索アーキテクチャの革新

光数では、NEDOでの研究成果を踏まえ、次のフェーズに進める予定です。注目するのはRerankerへの依存を減少させる新たな検索アーキテクチャです。従来の「検索モデル → 候補抽出 → Rerankerによる再評価」から、「検索モデルによる高精度な直接検索」へと移行することを目指しています。

このモデルの進化により、検索速度やコストの削減だけでなく、システム構成の簡素化も期待されます。また、最新の研究では、モデルが小型化されることで一般的なPCやサーバーのCPU環境でも優れた性能が発揮される可能性が示されています。これにより、企業内のインフラや閉域環境でも導入が容易になります。