Llama 3 70Bの日本語継続事前学習と指示学習により使いやすく高性能なモデルを実現

rinna株式会社 (本社：東京都渋谷区/代表取締役：宋 珠憲、以下rinna) は、Llama 3に対して日本語データで追加学習と指示学習を行った「Llama 3 Youko」シリーズを開発し、Meta Llama 3 Community Licenseで公開したことを発表します。

■ rinnaのモデル公開活動

最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。Microsoft社、Google社、Apple社、Meta社、NVIDIA社などのビッグ・テックも高いテキスト生成能力を持った大規模言語モデル (Large Language Model; LLM) を、利用しやすいライセンスで盛んに公開しています。しかし、これらのモデルは英語が学習データの大多数を占め、日本語のテキスト生成は可能であるものの、英語と比較すると十分な性能を発揮できない場合もあります。

rinnaは、日本のAI技術の貢献のために、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。2021年4月からHugging Faceに公開してきたrinnaのモデルは累計600万ダウンロード・1100 Likesを超え、多くの研究・開発者にご利用いただいています。2024年5月にはMeta社のLlama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、公開 ( https://rinna.co.jp/news/2024/05/20240507.html ) しました。

そしてこの度、より使いやすく高性能な日本語LLMを目指して、Llama 3 Youko 8Bに指示を遂行するように追加学習（指示学習）した「Llama 3 Youko 8B Instruct」と、Llama 8 70Bに対して日本語継続事前学習と指示学習した「Llama 3 Youko 70B」「Llama 3 Youko 70B Instruct」を開発し、公開しました。これらのモデル公開が、日本のAI研究・開発の参考になれば幸いです。

・Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズ

https://huggingface.co/collections/rinna/youko-669d18da5bd3f749a3e7ff95

■ 「Llama 3 Youko」シリーズの特徴
Llama 3 Youkoシリーズは、Llama 3 8Bと70Bに対して、日本語と英語の学習データで継続事前学習と指示学習をしたモデルです (Built with Meta Llama 3) 。また、各モデルを使用メモリ削減のために16bitから4bitに量子化したモデルも公開しています。モデル名の由来は、妖怪の「妖狐」からきています。Meta Llama 3 Community License を継承しており、このライセンスに従いご利用いただけます。

Llama 3 Youko 8B Instructは、Llama 3 Youko 8Bに対してSFT・Chat Vector・DPOという手法を用いて指示学習したモデルです。こちらのモデルは、Hugging FaceのSpaces で気軽にお試しいただけます。Llama 3 Youko 70Bは、Llama 3 70Bに対して日本語と英語の学習データ50億トークンを用いて継続事前学習したモデルです。またLlama 3 Youko 70B Instructは、Llama 3 Youko 70BにSFTという手法で指示学習したモデルです。

Llama 3に関連するモデルの日本語LLMベンチマークJapanese LM Evaluation HarnessとJapanese MT-Benchの結果（図1・図2）より、Llama 3 Youkoシリーズは高い性能であることが示されました。

図1：Llama 3関連モデルのJapanese LM Evaluation Harnessスコア

図2：Llama 3関連モデルのJapanese MT-Benchスコア

■ 今後の展開

ChatGPTの登場によりテキスト生成の技術は気軽に利用できるようになりましたが、目的のタスクを実現するためのテキスト生成や低コスト化・セキュリティ強化等のためには、利用目的に則したモデルの開発・運用が重要となります。これまでにrinnaでは、LLMを用いた多くの研究・開発・運用により、知見を十分に蓄えており、LLMの導入を検討している法人のお客様に対して、ビジネスや事業目的に適したLLMのカスタマイズソリューション「Tamashiru Custom」を提供しています。本モデルの開発を通して、これまで以上にお客様の目的に適したカスタムLLMを提供することが可能となりました。今後も、AIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます。生成AIの活用やカスタムLLMをご希望の方はお問い合わせください。

【rinna株式会社について】

「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げたAI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強みです。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいます。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指しています。

※文中の社名、商品名などは各社の商標または登録商標である場合があります。