ELYZA、GPT-4超えの日本語LLM「Llama-3-ELYZA-JP」を開発・公開

大規模言語モデルの社会実装を進める株式会社ELYZAは、新たに開発した日本語LLM「Llama-3-ELYZA-JP」シリーズの最新モデルを公開しました。

今回の発表では、700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」の2つのモデルが公開されました。

700億パラメータの「Llama-3-ELYZA-JP-70B」

「Llama-3-ELYZA-JP-70B」は、Meta社の「Llama 3」をベースに、日本語追加事前学習と指示学習を施して開発されたモデルです。

日本語性能を測定するためのベンチマークにおいて、国内モデルの中で最高性能を達成し、GPT-4やClaude 3 Sonnet、Gemini 1.5 Flashと同等あるいは上回る性能を実現しました。

ELYZAは、「Llama-3-ELYZA-JP-70B」を企業向けに提供していく予定です。安全なAPIサービスや共同開発プロジェクトなど、様々な形態で提供していくとのことです。

80億パラメータの「Llama-3-ELYZA-JP-8B」

「Llama-3-ELYZA-JP-8B」は、Meta社の「Llama 3」の80億パラメータ版をベースに、日本語追加事前学習と指示学習を実施したモデルです。

「Llama-3-ELYZA-JP-70B」と同様に、日本語性能が大きく向上し、80億パラメータという軽量なモデルながら、日本語の性能を測定するためのベンチマークにおいて、GPT-3.5 TurboやClaude 3 Haiku、Gemini 1.0 Proに匹敵する性能を達成しています。

「Llama-3-ELYZA-JP-8B」は、LLAMA 3 COMMUNITY LICENSEに準拠しており、Acceptable Use Policyに従う限りにおいて、研究および商業目的での利用が可能です。モデル自体は一般公開されており、誰でも利用できます。

「ELYZA LLM for JP」シリーズについて

「ELYZA LLM for JP」は、ELYZAが提供する大規模言語モデル群の総称です。セキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で提供しています。

今回公開された「Llama-3-ELYZA-JP-8B」「Llama-3-ELYZA-JP-70B」は、「ELYZA LLM for JP」シリーズの最新モデルとなります。

今後の展望

ELYZAは今後も、「Llama」シリーズの日本語化や、独自のLLMの開発に継続して投資していくとのことです。

これらのモデルの公開・提供を通じて、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援していくとしています。

ELYZAが開発した「Llama-3-ELYZA-JP」は、国内LLM開発の大きな一歩

ELYZAが開発した「Llama-3-ELYZA-JP」シリーズは、国内におけるLLM開発の大きな進歩を示す成果と言えるでしょう。特に、700億パラメータの「Llama-3-ELYZA-JP-70B」が、GPT-4やClaude 3 Sonnetなどの商用グローバルモデルと同等以上の性能を達成したことは、注目に値します。

従来、日本語LLMは海外モデルに比べて性能が劣るとされてきましたが、今回の「Llama-3-ELYZA-JP-70B」の登場によって、その状況は大きく変化する可能性があります。国内企業が開発したLLMが、グローバルモデルに肩を並べる性能を実現したことは、日本のAI技術開発の底力を示すものと言えるでしょう。

また、80億パラメータの「Llama-3-ELYZA-JP-8B」を一般公開したことも大きな意義があります。誰でも自由に利用できるオープンなモデルとして公開することで、日本語LLMの研究開発を促進し、より多くの開発者が参入しやすくなることが期待されます。

「ELYZA LLM for JP」シリーズは、国内におけるLLMの社会実装を加速させる可能性を秘めています。企業が自社サービスや事業にLLMを導入しやすくなり、様々な分野で革新的なサービスや製品が生まれることが期待されます。

今後、ELYZAが「Llama」シリーズの日本語化や、独自のLLMの開発をどのように進めていくのか、注目していきたいと思います。