AIの質を測る新指標「AI協働力」が無償公開されました

AIとの協働を評価する新たな指標「AI協働力」

株式会社ハイヤールーが、AIエージェントとの効果的な協働の質を測る新たな指標「AI協働力」の評価設計を無償公開しました。この指標は、300社以上からの116万件の評価データを基に、5つの領域と13の観点で構成されています。これにより、エンジニアがどれだけAIを活用しているかを客観的に評価することが可能となります。

背景と評価の重要性

現在、生成AIを用いたコーディングツールの利用は一般化してきましたが、定量的な利用状況の把握が重要視されるようになってきています。企業はトークンの使用量や利用回数をKPIに据える動きが進んでいますが、実際にはその量と成果には直接的な相関関係がないことが判明しています。このような中、AIとの協働において「質」を評価する手法が求められていました。

「AI協働力」の詳細

「AI協働力」は、株式会社ハイヤールーによって開発された独自の指標で、これにより人間がAIにどれほど的確に指示し、判断できるかを測定します。評価は以下の5つのサブ領域に分かれており、それぞれに13の評価観点があります：

1. 意図の仕様化 (Intent Specification): AIに何を作りたいのかを正しく伝えられているか。
2. 環境構築 (Environment Engineering): AIが正しく動作するための環境が整っているか。
3. 共同推論 (Co-Reasoning): AIとの対話を通じて問題解決ができているか。
4. 実行の統制 (Execution Control): AIの行動をどれだけ統制できているか。
5. 出力の品質保証 (Output Quality): 出てきた成果物の妥当性を検証できているか。

この評価指標のユニークさは、評価対象がAIの出力ではなく「人間側のプロセス」である点です。このため、AIモデルの性能向上によるスコアの変動がなく、持続的に人のスキルを測り続けられます。実際、最も低いスコアが出たのは「共同推論」で、AIとの対話を通して問題を解く力が48.6%と最も課題が多いとされています。

無償ホワイトペーパーの提供

hireRooでは、「AI協働力」の評価体系を詳しく解説したホワイトペーパーも無償で提供しています。この文書は、5つのサブ領域の設計や評価の仕組み、実際の評価スコアを通じて、AI時代に求められるスキルを明らかにしています。ホワイトペーパーはPDF形式で提供されており、約10分で読み終えることができます。興味のある方は、こちらからダウンロードできます。