rinna

Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズを公開

プレスリリース

Llama 3 70Bの日本語継続事前学習と指示学習により使いやすく高性能なモデルを実現

rinna株式会社 (本社:東京都渋谷区/代表取締役:宋 珠憲、以下rinna) は、Llama 3に対して日本語データで追加学習と指示学習を行った「Llama 3 Youko」シリーズを開発し、Meta Llama 3 Community Licenseで公開したことを発表します。

■ rinnaのモデル公開活動

最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。Microsoft社、Google社、Apple社、Meta社、NVIDIA社などのビッグ・テックも高いテキスト生成能力を持った大規模言語モデル (Large Language Model; LLM) を、利用しやすいライセンスで盛んに公開しています。しかし、これらのモデルは英語が学習データの大多数を占め、日本語のテキスト生成は可能であるものの、英語と比較すると十分な性能を発揮できない場合もあります。

rinnaは、日本のAI技術の貢献のために、日本語のタスクに適したGPTBERTHuBERTCLIPStable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。20214月からHugging Faceに公開してきたrinnaのモデルは累計600万ダウンロード・1100 Likesを超え、多くの研究・開発者にご利用いただいています。20245月にはMeta社のLlama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、公開 ( https://rinna.co.jp/news/2024/05/20240507.html ) しました。

そしてこの度、より使いやすく高性能な日本語LLMを目指して、Llama 3 Youko 8Bに指示を遂行するように追加学習(指示学習)した「Llama 3 Youko 8B Instruct」と、Llama 8 70Bに対して日本語継続事前学習と指示学習した「Llama 3 Youko 70B」「Llama 3 Youko 70B Instruct」を開発し、公開しました。これらのモデル公開が、日本のAI研究・開発の参考になれば幸いです。

 

Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズ

https://huggingface.co/collections/rinna/youko-669d18da5bd3f749a3e7ff95

 

Llama 3 Youko」シリーズの特徴
Llama 3 Youkoシリーズは、Llama 3 8B70Bに対して、日本語と英語の学習データで継続事前学習と指示学習をしたモデルです (Built with Meta Llama 3) 。また、各モデルを使用メモリ削減のために16bitから4bitに量子化したモデルも公開しています。モデル名の由来は、妖怪の「妖狐」からきています。Meta Llama 3 Community License を継承しており、このライセンスに従いご利用いただけます。

Llama 3 Youko 8B Instructは、Llama 3 Youko 8Bに対してSFTChat VectorDPOという手法を用いて指示学習したモデルです。こちらのモデルは、Hugging FaceSpaces で気軽にお試しいただけます。Llama 3 Youko 70Bは、Llama 3 70Bに対して日本語と英語の学習データ50億トークンを用いて継続事前学習したモデルです。またLlama 3 Youko 70B Instructは、Llama 3 Youko 70BSFTという手法で指示学習したモデルです。

Llama 3に関連するモデルの日本語LLMベンチマークJapanese LM Evaluation HarnessJapanese MT-Benchの結果(図1・図2)より、Llama 3 Youkoシリーズは高い性能であることが示されました。

 lm-harness.png

図1:Llama 3関連モデルのJapanese LM Evaluation Harnessスコア

mt-bench.png

図2:Llama 3関連モデルのJapanese MT-Benchスコア

今後の展開

ChatGPTの登場によりテキスト生成の技術は気軽に利用できるようになりましたが、目的のタスクを実現するためのテキスト生成や低コスト化・セキュリティ強化等のためには、利用目的に則したモデルの開発・運用が重要となります。これまでにrinnaでは、LLMを用いた多くの研究・開発・運用により、知見を十分に蓄えており、LLMの導入を検討している法人のお客様に対して、ビジネスや事業目的に適したLLMのカスタマイズソリューション「Tamashiru Custom」を提供しています。本モデルの開発を通して、これまで以上にお客様の目的に適したカスタムLLMを提供することが可能となりました。今後もAIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます。生成AIの活用やカスタムLLMをご希望の方はお問い合わせください。

 

 

rinna株式会社について】

「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げたAI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強みです。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいます。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指しています。

  

※文中の社名、商品名などは各社の商標または登録商標である場合があります。

関連記事