ストックマークの高橋氏が日本語LLM論文を国際会議に発表決定
ストックマーク株式会社が、高橋氏による日本語の大規模言語モデル(LLM)に関する論文が国際的な学会「PACLIC 38」に採択されたことを発表しました。この会議は、言語学や情報科学、計算言語学における先端研究を共有する場であり、東京外語大学で2024年12月7日から9日まで開催されます。
PACLICと最近のLLMの進展
PACLIC(Pacific Asia Conference on Language, Information and Computation)は、アジア太平洋地域の研究者が集まる国際会議です。言語とコンピュータ技術の交差点に焦点を当て、自然言語処理技術や機械学習の応用、アジアの多様な言語データの分析が討議されています。日本国内でのLLMの研究・開発が進む中、日本語に特化したLLM論文が国際会議に採択されるのは珍しいことです。
ストックマークでは、大学や研究機関との産学連携を強化し、特にビジネス領域での生成AI活用に注力しています。最近では、日本語におけるハルシネーションの抑制や、厳密な知識を学習したデータ用意、高速な処理を実現した「Stockmark-LLM-13b」の開発が進められています。このモデルは、事業に関連する多様な情報を理解するための高度な能力を持っています。
高橋氏の論文の概要
高橋氏が執筆した論文には、「Stockmark-LLM-13b」に関する詳細な評価が含まれています。このモデルは無償で商用利用可能な形式で公開されており、学術利用にも供されます。また、最新のビジネスに関連する質問データセット「Stockmark Business Questions」(SBQ)を独自に作成し、これに基づいた追加知識の獲得も成功させました。この継続的な事前学習は、 models to adapt to the changing landscape of business knowledge.
提案された論文タイトルは「Pretraining and Updates of Domain-Specific LLM: A Case Study in the Japanese Business Domain」で、執筆者には高橋氏をはじめ、ストックマークの研究チームや国立研究開発法人産業技術総合研究所のメンバーが参加しています。
Stockmark-LLM-13bの特徴と重要性
「Stockmark-LLM-13b」は、130億パラメータの日本語に特化したモデルで、複雑な日本語の理解を重視しています。また、ビジネス関連のデータを豊富に学習しており、高速で精度の高い出力が可能です。特に、ビジネス用途での操作性が向上しているため、幅広い業界での実用が期待されています。
このモデルは「AWS LLM 開発支援プログラム」によってサポートされたことも強調されており、企業がオーダーメイドのLLM構築を行う際にも活用される見込みです。
スパイシーなAIデータの可能性を秘めたこの研究は、今後の生成AI技術の発展に大きな影響をもたらすことが期待されています。ストックマーク株式会社は、生成AI技術を通じて企業の変革を支援し続けることを目指しています。
公式ウェブサイトから、最新情報や研究成果を随時確認することができます。ストックマークは、最先端技術の導入に積極的で、将来を見据えた取り組みを続けています。