リコーが無償公開、生成AIの推論性能を測定する新ベンチマーク

リコーが無償公開した「JDocQA Reasoning Benchmark」

株式会社リコーは、日々進化を続ける生成AIの推論性能を測るための新たなベンチマークツール「JDocQA Reasoning Benchmark」を開発し、無料で公開を開始しました。このツールは、特に図表を含む日本語のドキュメント理解に特化しており、生成AIの実用化に向けた重要な技術基盤として位置付けられています。

背景と目的

近年、生成AI技術の進展により、AIが複雑な非構造化データを論理的に理解し、推論する能力がますます重要視されています。特に日本語の文書には、図表情報が多く含まれるため、その解析や評価は依然として難題です。リコーは、経済産業省とNEDOのプロジェクト「GENIAC」において、図表を効率的に読み取るための言語モデルを開発し、その性能を測定するために「JDocQA Reasoning Benchmark」を導入しました。

このベンチマークは、計算・比較・傾向分析などの多段階推論を行うことができる点が特徴です。リコーは、AI技術の実用化において、これからの企業や研究機関がデータをより効果的に活用できるよう支援することを目指しています。

「JDocQA Reasoning Benchmark」の主要な特徴

1. 多段階推論能力の評価
JDocQAは、図表を含む日本語文書において、情報の抽出だけでなく、四則演算や比較などの数的処理を可能にする設計がされています。具体的には、以下の多様なタスクにおいて評価が可能です。
- 抽出：図表に示された情報をそのまま取り出す
- 計算：抽出したデータに基づき、数値処理を行う
- 比較：異なる値を対比し関係を明確にする
- 補完：欠落データを既存の情報から推測し再構成する

2. オープンソースの公開
本データセットはApache License 2.0に則り、商用非商用問わず利用可能です。これにより、さまざまな研究機関や企業がこのベンチマークを利用し、生成AI技術のさらなる発展に寄与できると考えています。