この記事の3行まとめ
2023年5月17日、サイバーエージェントは最大68億パラメータの日本語LLM(大規模言語モデル)の公開を発表しました。
今回公開されたモデルは、WikipediaおよびCommon Crawlなどのオープンな日本語データを学習したもので、商用利用が可能なCC BY-SA 4.0ライセンスで提供されています。同モデルは、Hugging Faceにて公開されています。
サイバーエージェントは、同月11日に独自の日本語LLMを開発していることを発表していました。自社保有の日本語データをもとに開発したLLMは、すでに130億パラメータまでの開発が完了。AIを活用した広告クリエイティブ制作領域のサービスにおいて、活用を始めているとのこと。
今後は、「NVIDIA DGX H100」を使用した国内最大規模のLLM開発などを予定していると発表しています。詳細は、こちらをご確認ください。
サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―|サイバーエージェント 公式サイトサイバーエージェント、独自の日本語LLM(大規模言語モデル)を開発 ―自然な日本語の文章生成を実現―|サイバーエージェント 公式サイトCyberAgent|Hugging Face