世代交代によるLLMの知識変化を探るトドオナダの調査結果

トドオナダによるLLMのブランド想起に関する調査結果

1. はじめに

株式会社トドオナダは、最近の調査で大規模言語モデル（LLM）の世代交代が、特定カテゴリの情報想起に与える影響を解明しました。この調査では、Claude Opus 4.8とClaude Opus 5という二つの世代のモデルを比較し、新旧モデル間の情報の想起集合にどのような変化があるかを調べました。

2. 調査の概要

本調査において、同一の質問を両モデルに各100回ずつ行い、その結果を分析しました。Claude Opus 5の知識カットオフは2026年5月で、リリースは2026年7月24日です。新しい知識が反映されていたことが確認され、特に映画カテゴリーでは2025年に公開される作品が上位に現れるなどの大きな変化が示されました。

3. 調査の手法

調査は、次のように行われました。使用したモデルは、Claude Opus 4.8（旧世代）とClaude Opus 5（新世代）でした。
- 質問内容: ビールと公開中の映画に関する質問
- 試行数: 各モデルに対して100回ずつ、合計800回
- 報道データ: 2025年6月から2026年4月までの国内ニュース記事を元に分析

4. 調査結果

4.1 知識の時間的変化

Claude Opus 5は、カットオフ後の知識が含まれていることから、リリースまでの数ヶ月で新しい情報が集まったことが見て取れました。特に、公開中の映画に関する質問では、前モデルとは全く異なる回答がありました。このことが示唆するのは、新世代モデルが今後得られる情報に対し、より柔軟に対応できる可能性が高いということです。

4.2 想起集合の強度

調査結果によると、想起集合には二つのパターンが確認されました。一つは強固なもので、ビールの種類として示された「アサヒスーパードライ」や「キリン一番搾り」などが毎回安定して現れました。他方で不安定な回答もあり、公開中の映画ではほぼ全入れ替えが見られたため、知識の更新が顕著でした。

5. 報道量と想起の相関

興味深いことに、報道における山場があった作品が上位にランクインしていましたが、必ずしも報道量が多ければ想起されやすいわけではないという結果も得られました。例えば、「国宝」に関連する記事数は他の映画に比べて圧倒的でしたが、出現率はほぼ同水準といった結果が出ました。これは、報道がどの時点で集中したかが影響を与える一因となったと考えられます。