サイバーエージェント、最大68億パラメータの「日本語」LLMを公開。商用利用も可能

2023年5月17日、サイバーエージェントは最大68億パラメータの日本語LLM（大規模言語モデル）の公開を発表しました。

今回公開されたモデルは、WikipediaおよびCommon Crawlなどのオープンな日本語データを学習したもので、商用利用が可能なCC BY-SA 4.0ライセンスで提供されています。同モデルは、Hugging Faceにて公開されています。

（画像はニュースリリースより引用）

サイバーエージェントは、同月11日に独自の日本語LLMを開発していることを発表していました。自社保有の日本語データをもとに開発したLLMは、すでに130億パラメータまでの開発が完了。AIを活用した広告クリエイティブ制作領域のサービスにおいて、活用を始めているとのこと。

（画像はニュースリリースより引用）

今後は、「NVIDIA DGX H100」を使用した国内最大規模のLLM開発などを予定していると発表しています。詳細は、こちらをご確認ください。