Nyx FoundationとKonoe Intelligence、AIの誤認識防止に向けた共同研究開始

Nyx FoundationとKonoe Intelligence、AI誤認識防止研究へ

この度、一般社団法人Nyx FoundationとKonoe Intelligenceが、誤った情報を出さないAIの実現を目指す共同研究を開始した。この研究は、AIの出力の正しさを数学的に保証することを目的としており、AIが社会的に重要な判断を行う時代において特に重要な意味を持つ。

研究の背景：AIの出力を誰が保証するのか

AIが生成する情報が誤っているリスクは、たんにチャットボットの間違った答えに留まらない。2024年にはAIが国際数学オリンピックで金メダル相当の成績を収め、人間の数学的推論能力に急速に近づいていることが報告されている。それに伴い、AIによる判断ミスが人命や資産の損失に直結する分野でも使われるようになってきたことは、未だに明確なリスクを伴っている。この「ハルシネーション」とも称される問題に対して、AIの出力が正しいのかどうかをどう保証するのかは、もはや避けて通れない課題となっている。

研究のアプローチ：数学での保証

本研究では、数学の一分野である圏論に基づき、異なる構造を統一的に扱うことで「同じ形」を抽出し、AIの出力を証明の形で保証する。具体的には、Leanと呼ばれる形式言語を使用して、AIが生成する出力が確実に正しいものであるかを証明するシステムを開発する。これにより、AIの出力を検証するための時間とリソースを大幅に削減できる可能性を持っている。

圏論を導入することで、証明探索の過程で無駄な分岐を減らし、転移学習の効果によって抽象的な定理が具体的な問題に適用可能になっていく。この手法により、これまでの力任せな証明探索から脱却し、自動化された証明の生成が期待される。

両社の専門知識を結集

Nyx Foundationは、形式検証とセキュリティに特化しており、その専門知識を基盤とする。一方、Konoe Intelligenceは、AIの脆弱性評価を行い、AI Safetyの最前線で活動する。両社の専門知識を掛け合わせることで、より堅牢なAIの開発を目指している。

Konoe Intelligenceは、AIへの攻撃手法に関する研究を行い、その成果として「Red-Teaming Challenge」での入賞を果たしている。同社はAIの実践的脆弱性を評価し、その視点から本研究に貢献している。一方で、Nyx Foundationは、形式検証技術を駆使し、テストで発見できない重大なバグの修正などを行ってきた。これにより、AIの出力が不確かである根本的な問題に対して、理論的な解決策を提供する。

今後の展望

本共同研究は、まだ始まったばかりであり、具体的な成果は今後の進展に伴って随時発表される予定である。両者は、AIが社会の中で重要な役割を果たす未来に向け、その出力の正確性を数学的な証明で保証できるシステムを確立することが不可欠であると考えている。

AIの誤認識を防ぐ取り組みは、信頼性の高い出力を提供するための大きな一歩であり、今後もこの研究からの進展に注目が集まることだろう。