#東京都 #目黒区 #日本語LLM #データセット #株式会社いちから

日本語LLM向け高難度問題データセットの発表

株式会社いちからが、日本語の大規模言語モデル（LLM）向けの「高難度問題データセット」の提供をスタートしました。このデータセットには、特に日本語の文脈やニュアンスを必要とする難易度の高い問題が1,200件収められており、企業や研究機関がLLMの性能を正確に評価・改善するために役立つ内容となっています。

データセットの概要

本データセットには、一般的なLLMでは解答が難しい問題を中心に構成されています。問題は単なる知識確認だけでなく、情報を組み合わせる推論や、複数の条件を整理する能力が求められる内容です。問題ごとに参考回答が付与されているため、LLMの結果との比較もしやすくなっています。

また、このデータセットは、次の構成要素から成り立っています：

• - 質問：低難易度から高難度までの多様な問題
• - 参考回答：解答方法の例示や文書などを含む
• - 質問タイプ & 回答タイプ：問題の種類や解答の形式を明示
• - 分野：問題を特定のテーマに分類
• - 参考URL：詳細情報リンク

日本語LLMの課題

近年のLLM技術の進展により、企業での活用が進む一方、従来のベンチマークや問題では最新のモデルの性能を正しく測ることが難淘くなっています。特に日本語に特化したLLMは、言語特有の表現や文脈を理解し、適切な推論ができることが必要です。その対応として、いちからでは「簡単に正解できない日本語問題」を特に重視しました。

性能評価結果

一部のサンプルを用いて複数のLLMを評価した結果、正答率は34%から2%程度に留まっており、現行のモデルにとっても難しい問題であることが確認できました。この評価結果は、このデータセットがただの評価用データとしてだけでなく、モデルの弱点や課題を分析するためにも有効であることを示しています。

先行提供開始

今回、1,200件の中から200件のデータを先行提供します。利用価格は198万円（税込）で、興味のある企業には専用の申し込みページを通じて詳細を確認できるようになっています。残りの1,000件は2026年9月20日までに利用を検討している企業と協議の上で、提供方法や金額を決定します。

会社紹介

株式会社いちからは、AIとLLMがテーマのデータ開発や技術支援を行っています。企業のAI活用を後押しし、日本国内のAI技術の発展に寄与することを目指しています。

公式ウェブサイトでは、さらなる情報や申し込み用のページが掲載されています。興味がある方はぜひご覧ください。
いちから公式サイト

関連リンク

サードペディア百科事典: 東京都 目黒区 日本語LLM データセット 株式会社いちから

Wiki3: 東京都 目黒区 日本語LLM データセット 株式会社いちから