ストックマーク、RAGシステムの自動QA評価機能を搭載したSATを発表

ストックマーク株式会社（東京都港区）が、RAG実用化サービス「Stockmark A Technology」（略称SAT）に自動QA評価機能を新たに追加したと発表しました。この機能は、RAGシステムの回答精度を簡単に検証する手段として、企業のデータ活用をさらに進化させることを目的としています。

「SAT」とは何か?

SATは、企業が持つ膨大なデータをRAGシステムで活用できるように構造化するサービスです。多機能AI（マルチモーダルLLM）を駆使し、複雑なビジネスドキュメントから情報を抽出し、構造化データとナレッジグラフを自動生成します。その結果、RAGシステムの検証が簡素化され、ビジネスの現場でのデータ活用がしやすくなります。

自動QA評価の利点

新しくリリースされた自動QA評価機能は、RAGシステムの品質を向上させる上で欠かせない存在です。これまでQA評価は、ユーザーからの質問に対して正しい回答を導き出せているかを確認するため、非常に手間がかかる作業でした。特に、多様なユースケースに向けたQA評価を実施するには多くの時間が必要とされていました。この新機能により、以下のような課題を解決できます。

- RAGの精度評価手法が明確にされる。
- 評価にかかる膨大な時間を削減できる。
- 人的な評価によるばらつきを抑制できる。
- 効率的に各パラメータのチューニングが可能。

この「自動QA評価」機能を活用することで、RAGシステムの検証作業が大幅に効率化され、ビジネスの迅速な意思決定を支援します。

自動評価の特徴

SATでは、数十パターンのパラメータに一括で回答を生成することが可能です。構造化データやLLMのシステムプロンプトなどの多様な要素を調整し、事前に用意された質問群に対して自動評価を実施できます。この機能により、ユーザーは最適なパラメータを迅速に見つけることができます。

また、評価根拠も明示されるため、評価の透明性が向上します。生成された回答の妥当性を、他の想定回答と照らし合わせて評価し、「良し」「評価不能」「悪し」と評価区分を設けることで、評価時間を大幅に短縮します。

データ構造化の重要性

生成AIの利用が進む中、ただのツール導入では実際に効果が得られないケースが多々あります。正しい構造化がなされていないと、「ハルシネーション」（誤った情報生成）に悩まされるでしょう。RAGシステムを構築するためには、組織内に膨大に存在する非定型データを、検索可能なデータ形式に変換することが不可欠です。正確な構造化によって、業務データが生きた情報源に変わり、AIによる正確な文書回答が実現します。