豆蔵が発表した生成AI研究、誤ったルールに関する新たな知見

豆蔵が発表した生成AIに関する重要な研究

株式会社豆蔵が発表した最新の研究で、生成AIに関する興味深い事実が明らかになりました。この研究は、豆蔵のAIテクニカルセクターのメンバーである石川真之介氏、藤堂真登氏、そして立教大学院の大西立顕委員長を含むグループによって行われました。彼らは、生成AIである大規模言語モデル（LLM）が与えられた情報に対して、実際には存在しない誤った規則性を見出すことがあることを発見しました。

自己検証能力の発見

研究チームは、特に興味深い点として、LLM自体がその誤った規則性を検証したときに「その規則性は存在しない」と正しく判断できることも多いと指摘しています。つまり、LLMは自ら間違いに気付くことができるのにも関わらず、誤って情報を出力してしまうのです。この現象は、生成AIが社会で活用される上で多くの問題を引き起こす可能性があると警告されています。

この研究成果を基にした論文は、「The Idola Tribus of AI: Large Language Models tend to perceive order where none exists」と題され、2025年に中国の蘇州で開催されるEMNLPにおいて発表されることが決定しました。

生成AIと論理的思考

LLMの利用が広がる中、これに伴う論理的思考能力が重要視されています。生成AIが適切に機能するためには、必要な知識を参照し、正確な判断を下す能力が求められます。しかし、もしLLMの論理的思考力が不足している場合、誤った情報を提供してしまうリスクが増加するのです。これにより、RAG（Retrieval-Augmented Generation）やAIエージェントの利用にも影響を及ぼす可能性があります。

純粋な論理的思考の評価

研究チームは、LLMの論理的思考力の純粋な帰納的側面に注目し、事前知識の影響を受けにくいタスクを設定しました。具体的には「数列から規則性を導く」問題を行い、知識が不十分であることから生じる誤った出力と誤認識を区別可能にしました。実験の結果、評価した5つのLLMは全て、時には虚偽の規則性を主張することが示されました。

特に、o3モデルに関して調査した際、誤った規則性について「存在しない」と結論づける場面も見られ、LLMが自己検証可能であることがこれまでにない形で証明されました。これは、生成AIの利用における潜在的なリスクを十分に認識する必要があることを示唆しています。

LLM活用のリスク評価

今後、生成AIをビジネスで活用するためには、どのようなリスクが存在するのか、その程度はどれほどかを評価することが不可欠です。また、リスクを最小限に押さえる方法を模索し、その結果を受け入れるかどうかを見極める必要があります。

豆蔵のサービス展開

豆蔵では、AIエージェントの導入支援など、生成AIを活用した様々なサービスを提供しています。また、システム開発の上流工程で生成AIを使用した「おしごとモデルズ(R)」というサービスも展開し、ユーザーが容易に要求開発を行える環境を整えています。これは最新のAI技術を駆使したデータ利活用支援サービスでもあります。