ELYZAが日本語LLM「Llama-3-ELYZA-JP-120B」を発表、生成AIの未来を築く

ELYZAが新しい日本語LLMを発表

株式会社ELYZAは、経済産業省及びNEDOの支援を受けて開発した日本語大規模言語モデル（LLM）「Llama-3-ELYZA-JP-120B」の成果を、最近開催された「GENIAC成果報告会」にて発表しました。この新たなモデルは、日本での生成AIの活用を促進することを目的としています。

「GENIAC」の支援を受けた開発

「GENIAC（Generative AI Accelerator Challenge）」は、日本の生成AI技術を強化するための重要なプロジェクトです。ELYZAはこのプロジェクトに参加し、計算資源の提供を受けつつ、日本の文化や社会にマッチした基盤モデルの研究開発を行いました。今回の発表は、その活動の重要なマイルストーンと言えるでしょう。

新たな日本語LLMの特長

「Llama-3-ELYZA-JP-120B」は、二つの主要な取組みを通じて構築されました。まず一つ目は、基礎能力の向上です。ELYZAが以前から推進してきたオープンモデルを利用し、「Depth Up-Scaling」という手法を取り入れることで、モデルのパラメータ数を増やしました。その結果、さまざまなベンチマークにおいて「GPT-4(0613)」を上回る性能を実現しました。

二つ目の取組みは、日本特有の知識や表現に焦点を当てた特化学習です。日本における実用性を考慮し、法令や行政手続きに関する知識を取り入れた学習を行い、その応答性能を独自に計測する新しいベンチマークも設けました。この評価により、再び「GPT-4(0613)」を超える成果を立証しています。

発表と今後の展開

発表資料や報告映像は公式のプラットフォームで公開されています。興味を持たれた方は、以下のリンクより確認できます。

- 発表資料
- 発表映像

ELYZAは今後も、さらなるモデルの高性能化を目指し、日本文化に根ざした基盤モデルの構築を進めていく考えです。これにより、生成AI技術が日本において「あたりまえ」として受け入れられることを目指します。

会社情報

株式会社ELYZAは、東京を拠点に2018年に設立され、AI技術の研究開発及びソリューション提供に努めています。最新の技術を用いて企業の成長を支援し、革新的なAIソリューションの普及を目指しています。詳細については、公式サイトをご覧ください。

このように、ELYZAの取り組みは日本の生成AIの進展に寄与し、今後の産業に大きな影響を与えると期待されています。