rinnaが日本語対応のLlama 3モデル「Youko」シリーズを発表

rinnaの新たなAIモデル「Llama 3 Youko」シリーズの登場

rinna株式会社（東京都渋谷区）は、最新のAI技術を駆使して、日本語に特化したLlama 3モデル「Llama 3 Youko」シリーズの公開を発表しました。このシリーズは、Meta社のLlama 3 Community Licenseに基づき、日本語データに特化した追加学習を行ったものです。

日本語特化の背景

最近のAI分野においては、世界中の研究者や開発者が技術の共有を進め、急速な進化を遂げています。しかし、従来の大規模言語モデルはほとんどが英語を学習対象としており、日本語への対応が不足しているのが現状です。これに対処するために、rinnaは効果的な日本語LLMの開発に取り組んできました。

「Llama 3 Youko」シリーズの特徴

「Llama 3 Youko」シリーズには、Llama 3の8Bと70Bモデルが含まれています。これらは日本語と英語の両方のデータを用いた継続的な事前学習と指示学習が施されています。また、使用メモリを削減するために、モデルを16bitから4bitに量子化したオプションも提供されており、資源の効率的な活用が可能です。モデル名の「Youko」は、中国の伝説に登場する妖怪「妖狐」に由来しています。

新たな学習手法の導入

特に注目すべきは、Llama 3 Youko 8Bに施された指示学習（Instruct）が、多様なタスクを効率的に遂行する能力を高めている点です。手法にはSFT（Supervised Fine-Tuning）、Chat Vector、DPO（Direct Preference Optimization）が使われており、これによって高い応答精度が実現されています。また、Llama 3 Youko 70Bモデルに関しては、50億トークンもの日本語と英語のデータを用いて事前学習を行っています。

性能評価と今後の展開

日本語LLMの評価基準である「Japanese LM Evaluation Harness」と「Japanese MT-Bench」では、Llama 3 Youkoシリーズの高性能が示されています。このモデルの登場により、ビジネスニーズに応じたテキスト生成モデルの導入が進むことが期待されています。

rinnaは、生成AIの活用を広めるため、企業向けに「Tamashiru Custom」というカスタマイズソリューションも提供。これにより、各企業のビジネス目標に合わせたLLMを開発し、利用が可能となる仕組みを構築しています。

rinnaについて

rinnaは「人とAIの共創世界」をビジョンに掲げています。テキスト・音声・画像などの生成AIモデルに精通し、パートナー企業との協力によって様々なビジネス課題を解決するソリューションを展開しています。

今後も、rinnaはAI技術の進化を追求し続け、法人顧客向けのカスタムモデルの提供に努めることで、より良いAI社会の実現に寄与していくことでしょう。

これからのAIの発展にご期待ください。