この記事の3行まとめ
- サイバーエージェント、最大68億パラメータの日本語LLMを公開
- オープンな日本語データで学習されており、商用利用が可能
- 5月11日の発表では、130億パラメータまでの開発が完了しているとのこと
2023年5月17日、サイバーエージェントは最大68億パラメータの日本語LLM（大規模言語モデル）の公開を発表しました。
今回公開されたモデルは、WikipediaおよびCommon Crawlなどのオープンな日本語データを学習したもので、商用利用が可能なCC BY-SA 4.0ライセンスで提供されています。同モデルは、Hugging Faceにて公開されています。
（画像はニュースリリースより引用）
サイバーエージェントは、同月11日に独自の日本語LLMを開発していることを発表していました。自社保有の日本語データをもとに開発したLLMは、すでに130億パラメータまでの開発が完了。AIを活用した広告クリエイティブ制作領域のサービスにおいて、活用を始めているとのこと。
（画像はニュースリリースより引用）
今後は、「NVIDIA DGX H100」を使用した国内最大規模のLLM開発などを予定していると発表しています。詳細は、こちらをご確認ください。
サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―｜サイバーエージェント 公式サイトサイバーエージェント、独自の日本語LLM（大規模言語モデル）を開発 ―自然な日本語の文章生成を実現―｜サイバーエージェント 公式サイトCyberAgent｜Hugging Face
