法的タスクを変革する新ベンチマークデータセット「LegalRikai」の誕生

日本の法的環境に特化した新たな評価基準

日本のテクノロジー企業、株式会社LegalOn Technologiesは、法的タスクを評価するための新しいベンチマークデータセット「LegalRikai」を開発しました。このデータセットは、大規模言語モデル（LLM）が日本の法律や規制に基づいて法的タスクを適切に処理できるかどうかを評価するためのもので、特に契約書の条文修正や法務相談におけるキーワードの抽出に重点を置いています。

開発の背景

近年、LLMが盛んに利用される中、リーガルテック分野でもその影響は大きく、効率化や業務改善が進んでいます。しかし、従来の評価基準は主に英語の文脈に依存しており、日本の法的文脈に特化した基準が存在しなかったため、法務関連の作業においては評価の精度が低いという問題がありました。このような状況を打破するため、LegalOn Technologiesは「LegalRikai」を開発するに至りました。

LegalRikaiの機能と特長

「LegalRikai」では、契約の条文におけるキーワードの抽出や分類が可能で、今後は契約書の要約や潜在的なリスクの検出といった機能も追加される予定です。これにより、日本の法律や規範に基づくタスクに対して、LLMがどの程度効果的に対応できるのかを定量的に評価することが可能になります。実例としては、契約書の文言を修正する際にリスクを見つけ出し、適切な修正文を提示する機能が挙げられます。

国内外の比較

国際的には、欧米やアジアの国々が独自のベンチマークデータセットを開発し、LLMの評価や研究が進んでいます。例えば、LexGlueやLegalBenchなどのプロジェクトがありますが、日本ではこれまでに類似のものがありませんでした。LegalRikaiの開発は、海外と比較しても日本におけるLLMの評価を一歩前進させるものといえるでしょう。

今後の展望

「LegalRikai」は、2025年2月から社内での利用が優先されますが、将来的にはリーダーボードの公開や他のLLMとの比較評価を行う計画もあります。これにより、法務業務におけるAI技術が一層進化し、日本の法的タスクを効率的に処理するための基盤が整うことでしょう。

会社概要と理念

LegalOn Technologiesは、2017年の設立以来、「法とテクノロジーの力で、安心して前進できる社会を創る」という理念のもと、法律業務の効率化に向けた技術開発を進めています。AI法務プラットフォーム「LegalOn Cloud」や、グローバル向けのAI契約レビューサービスなど、幅広くサービスを展開し、国内外での法務に新たな光をもたらしています。

さらに、法務業界全体を見据えたソリューションの提供を行うことで、数多くの企業において効率的な法務業務の実現をサポートしているのです。