LLMが記憶と検索を使い分けるメカニズムを解明する調査結果

LLMが記憶と検索を使い分けるメカニズムを解明

株式会社トドオナダは、LLM（大規模言語モデル）がどのようにして自らの記憶と検索（RAG）を使い分けるのかを調査しました。この研究は、84のビューティーカテゴリを対象に行われ、特に「想起集合」と呼ばれる記憶の安定度と検索への依存度の関係が明らかになりました。

調査の背景

最近、人工知能の進化により、特にビジネスや日常生活でのLLMの使用が増加しています。それに伴い、LLMがどのように情報を処理するのかを理解することが求められています。株式会社トドオナダでは、想起集合の安定度とRAG発火率という二つの指標を用いて、具体的なデータを基にした分析を行いました。

主な発見

1. 想起集合の安定度とRAG発火率

調査の結果、想起集合が安定しているカテゴリではRAGへの依存度が低いことが分かりました。ランダムに与えられた質問に対して「〜といえば？」の形で聞くと、想起の強度が高まるほど、検索を呼び出す必要が少なくなる傾向が見られました。具体的には、安定度が「盤石」や「強固」といった高強度時では発火率が約6%から7%なのに対し、中程度や不安定では50%を超える結果が得られました。

2. 発火の二層構造

RAGの発火は、想起時点と質問時点という二つのレイヤーで構成されています。想起時点では、カテゴリに関する情報が不明瞭な場合にRAGが発火しやすいことが示されました。一方、質問文に「人気」や「おすすめ」といった語が含まれる場合、検索を促す第二の層が働きます。このことは、同一カテゴリの質問文を変えることで確認され、影響がどのように異なるかが明らかになりました。

3. モデル間の違い

調査によって、モデル間で質問語の影響の強さが異なることもわかりました。特にGPTモデルでは「人気の〜」という質問がすべての試行で有効だったのに対し、Claudeモデルでは影響が少なかったです。このことから、LLMの設計やトレーニングによって、同じ質問でも応答が変わる可能性が見えてきました。

4. 検索クエリの実例

また、RAGが発火した場合、実際にLLMが生成した検索クエリには、想起集合にある情報が反映されていることが確認されました。このことは、LLMが記憶に依存して検索を行うのではなく、記憶を更新または確認する手段としてRAGを活用していることを意味しています。

調査方法と限界

調査の対象は、ビューティー領域の84カテゴリで、各LLMモデルに対して同一条件のもとで10試行ずつ測定しました。結果として得られたRAG発火率は統計的な揺れがあるため、一定の限界があります。また、各質問による検索動作は、ChatGPTなどの製品における挙動とは異なる点に注意が必要です。

ディギコのチャピりログとディギディギ

今回の調査結果は、株式会社トドオナダが提供する「ディギコのチャピりログ」で公開されており、LLMが特定のカテゴリで何を想起するかを確認することが可能です。また、自社開発のツール「ディギディギ」では、LLMの記憶の確認やハルシネーションのチェックが行えます。

この研究は、今後のLLMのトレーニングや応用にも大きな影響を与えることでしょう。AIがより人間に近づいていく中で、そのメカニズムを理解することは今後ますます重要になることが予想されます。