『シャニソン』櫻木 真乃から見る、アイドルの実在感を高める3DCG技術とは。キャラクターモデル仕様やリップシンクの重要性を開発コアメンバー3名が語る

2024.03.21 [PR]
注目記事ゲームづくりの知識ルールをつくる見た目を良くするゲームの舞台裏インタビューお役立ち情報ツール紹介
この記事をシェア!
Twitter Facebook LINE B!
Twitter Facebook LINE B!

iOS/Android、PC向けに登場したアイドルマスターシリーズ最新作『アイドルマスター シャイニーカラーズ Song for Prism』(以下、シャニソン)では、これまで2Dイラストでのみ展開されていた283プロダクション所属のアイドル28名を3DCGで生き生きと表現する挑戦が行われました。

今回はモデル仕様やブレンドシェイプによる表情制御といった3DCGの観点と、大量のボイス処理やリップシンクの自動生成などサウンド実装面の観点から、「魅力的なアイドルの作り方」を高山プロデューサーをはじめとする開発コアメンバー3名に聞きました。

INTERVIEW&TEXT / 神山 大輝
取材協力 / 田端 秀輝

目次

登場人物

高山 祐介氏

バンダイナムコエンターテインメント所属。本作のプロデューサー。作品としての方向性の統括やIP監修、ビジネス面も含めて全体を見る立場

下野 昌隆氏

バンダイナムコスタジオ所属。本作ではアートに関連するアセット全般を管理している。立ち上げから全てのモデル制作を監修

石川 哲彦氏(LindaAI-CUE氏)

バンダイナムコスタジオ所属。本作のサウンドチームのリーダーとして、制作管理や技術的なサポートを行う。LindaAI-CUE氏としても知られ、本作では一部のBGMも手掛ける

アイドル育成&リズムゲーム『シャニソン』の基本システム

シャニソンのゲームパートはアイドルを育成する「プロデュース」パートと、育てたアイドルが活躍する「リズムゲーム」パートに分かれており、いずれも3Dで表現されたアイドルたちが総勢8ユニット・28名登場します。

開発環境はUnityで、開発人数は全体で100名以上にものぼります(エンジニアが5割、アーティストが4割、企画など他職種が1割程度の割合)。リリースの半年前、Demo版によるテストプレイが行われたことでも話題を集めました。

シャニソン公式サイトより引用

登場するキャラクターは2018年4月にリリースされたenza(※1)対応版『アイドルマスター シャイニーカラーズ』(以下、シャニマス)と同一。

ただし、当時はブラウザで遊べるゲームだったこともあって、全てのアイドルが2Dイラストでの表現となっていました。
※HTML5を活用し、ブラウザ上で手軽にゲームが遊べるプラットフォーム

高山氏

本作では、283プロに所属する28人のアイドルが魅力的な3DCGで生き生きと描かれています!ここは開発側としても、本当にこだわってきたポイントです。

「プロデュース」では、育成を進めながらカードを入手し、デッキ構築をした上で各レッスンやオーディションに臨むシステムが採用されています。

これについて高山プロデューサーは「シャニソン開発当時、既に『デレステ(アイドルマスター シンデレラガールズ スターライトステージ)』『ミリシタ(アイドルマスター ミリオンライブ!シアターデイズ)』をはじめとした、リズムゲームを主体とした作品は多く市場に溢れていました。新鮮な体験を作るため、本作では“二人三脚”、“育てる”というアイマスならではの要素に着目し、アイドル育成&リズムゲームの企画としてまとめています」とコメント。

決められた期間内でレッスンやお仕事、オフなどを組み合わせ、アイドルを育成するゲームモード

プロデュースパートで行われるカードゲーム。ユニットごとにデッキコンセプトが決まっており、コンボも多彩

このように育てたアイドルを「リズムゲーム」パートでは最大5名まで配置でき、プレイ内容に応じてアイドルの育成に使えるアイテムなどを入手 。育成するプロデュースアイドルや育成をサポートするサポートキャラはガシャやイベント報酬として入手するゲームサイクルになっています。

リズムゲームパートは、いわゆる音ゲーが楽しめるゲームモード。初期状態でもリリースされている全楽曲を楽しめる

ライブシーンはリズムゲームの背景にも流れているが、じっくり観るための「MV視聴」モードも存在する

“イラストをそのまま3D化する”というミッションに挑む

開発当初、まずは「櫻木 真乃」の3Dモデル化が決定し、下野氏が試作を開始することに。「とりあえずPCで動けばOK」という基準でルック開発を進め、全体で約50,000ポリゴン(髪と顔で15,000ポリゴン、衣装で30,000ポリゴン。ほか、ヘアアクセサリーに3,000ポリゴン等。テクスチャサイズは2048×2048が2~4枚、1024×1024が4~5枚、ほか512×512が数枚と必要に応じて追加する)という仕様で仮モデルを制作しました。

高山氏

シャニマスが持つアートワークの魅力を3Dで十二分に表現できるのか、という挑戦でした。イラストの線の細さや色彩感を3Dで表現しようと試みました。

下野氏

企画書にはいつも「イラストがそのまま動いているような表現」と書かれていました。そもそものイラストが美しすぎるので、大変でした……。

当時はVTuberが複雑な衣装を身にまとって配信をしていたり、VRChatでもユニークなアバターでコミュニケーションを取る層が多かったりと、3DCGで表現されたキャラクターのクオリティ向上がゲーム以外でも目立っていた時期でした。「最低限、VRChatの60,000ポリゴンには負けたくない」という気概で制作を進め、最初のモデル完成までには約3か月を要しました。

櫻木 真乃の初期モデル(衣装はビヨンドザブルースカイ)。DCCツールはMayaおよびPhotoshopで、初期モデルを担当した下野氏はiPadでテクスチャ制作が可能な「Procreate」も併用。バンダイナムコスタジオでは各自が使い慣れたツールを使って制作を進めているようだ

櫻木 真乃のインゲームモデル。下野氏によると「真乃は難易度が高く、彼女さえ作れれば他のキャラは全員作れるだろうと思っていた」とのこと。結果的に、ほぼ最初に決めた仕様のままインゲームモデル制作ができていた

余談だが、本作には等身モデルのほかプロデュースモード中に登場するSDキャラの3Dモデルが用意されており、実は両者の骨構造は全く同一とのこと

高品質なリップシンクを自動生成するために「CRI LipSync」を採用

「次はボイス周りの整音と実装!」という流れで、社内で横断的に活躍するサウンドデザイナー/コンポーザーの石川氏(LindaAI-CUE氏)に声がかかりました。

一般的に、3Dキャラクターはボイスに合わせて口が動く「リップシンク」の仕組みが必要であり、MayaなどのDCCツールでアニメーションを手付けする方法か、専用のツールを用いて自動的に口の動きを生成するかの2択を選ぶことになります。

石川氏

いずれ膨大な量のボイスデータが来ることは分かっていましたので、ボイスデータに基づいてリップシンクを自動生成する『CRI LipSync』の導入を決めました。

音声解析リップシンクミドルウェア CRI LipSync

今回採用されたCRI LipSyncは、音声を解析して自然な口形状パターンを自動生成するミドルウェア。

キャラクターのセリフを事前解析する方法と、リアルタイムに解析する方法の2通りが用意されており、本作ではライブパートを事前解析で、プロデュースパートなどその他のシーンではリアルタイムで処理しています。なお、ボイスをダウンロードせずにプレイすることもできますが、その場合はテキストから口形状を生成して対応しているとのこと。

さまざまな声質を解析でき、舌の位置や両唇音による口の開閉など細かい動きも再現できる。ちなみに今回のような3DCGキャラクターだけでなく、2Dイラストにも使える

実際のインゲームでの動きを確認します。今回は楽曲「ありたっけの輝きで」内において、櫻木 真乃がアップになるカットをiPhone実機で撮影しました。

楽曲:ありったけの輝きで
歌唱アイドル:櫻木 真乃
衣装:ビヨンドザブルースカイ

スタイライズされたキャラクターにマッチした自然な口形状となっているのが分かる

Unityエディタ上でブレンドシェイプを用いて表情制作を行う。左上から、櫻木 真乃の各母音「あ」「い」「う」「え」「お」の口形状。右下はフェイシャル表現の一例

櫻木 真乃や八宮 めぐるなど、声質や喋り方に特徴のある一部のアイドルでは、Unity上で解析したデータをFBX形式でエクスポートし、Maya側で編集するケースもあったとのこと

下野氏

ライブパートではすべての母音を踏まえた事前解析の結果に加え、「しっかり閉じる」「解析結果の曖昧なところ」「ロングトーンの口の動き」といった部分の補正を多く行ってます。

一方のプロデュースパートではリアルタイム性を重視し、「あ」のシェイプを使った口の開閉に的を絞って対処しています。

なお、本作では2023年5月に行われたDemo版のユーザーフィードバックを受け、キャラクターのルックの見直しが行われています。リップシンクについては、Demo版時点では24FPSで動作していましたが、違和感を軽減するために60FPSに変更されたとのこと。

下野氏

最適化の面では、もともとキャラクターごとに持っていた肌の色のテクスチャを1枚に共通化したことが大きな処理軽減に繋がりました。

あとは、ライブシーン内にこれまでのプロデュースの経緯がカットシーンとして挿入される“メモリアルライブ演出”があるのですが、最大5人分のライブ衣装・私服・ジャージをロードして持っておく必要があり、常にメモリサイズとの戦いがありました。

プロデュースモードの最後を飾るライブシーンの途中に何度か挿入されるカットシーン。 これまでのプロデュース中の思い出が歌っている最中に挟まるようなイメージの演出となるが、このためにライブ衣装だけでなくジャージなどの差分もロードしておく必要があった

30,000を超えるボイス素材を効率的に制御――CRI Atom Craftを活用したサウンド開発

リップシンクに読み込ませるためのボイス数が多いのも本作の特徴。シナリオは基本的にフルボイスで進行するほか、ライブモードではアイドルを自由に編成できるため、歌い分けに対応する楽曲では28人分の音声ファイルが個別に用意されています。このため、実装されたボイスファイルの数は合計30,000以上。

これに加えて1,000程度のSE(効果音)、70曲以上のBGMが含まれているため、音声ファイルの管理・制御にはUnityの標準サウンド機能ではなくCRI Atom Craftが用いられています。CRI Atom CraftはCRI・ミドルウェアが提供するオーディオミドルウェア「CRI ADX」のオーサリングツールで、ごく簡単に言えば“ゲームエンジン標準のサウンド機能よりも高機能かつ高効率で音声ファイルの制御を行うための専用ツール”です。

CRI Atom Craftでの作業画面。DAW(Digital Audio Workstation:音楽制作ソフトウェア)と同じようにタイムラインに波形を並べていく概念を持っているため、非常にとっつきやすいツールでもあることも特徴

大量の音声ファイルを扱う際、最も重要なのは「仕様策定」。石川氏は「どの音素材をどの場面で使うか?」を細かく想定してID命名規則を組み、キューシートを切り分けることで、スクリプト機能を使った登録作業自動化の構築を行ったとのこと

また、事前に割り当てたIDをベースとして開発メンバーと会話をすることで、細かいフィードバックやデバッグ等の作業時に「どの場面のことを指しているのか?」の意思疎通が容易になったというメリットもありました。

デバッグにはCRI Atom Profilerを活用

ゲームサウンドはBGMやSE、ボイスが大量に同時再生されるため、正しく鳴っているかどうかチェックを行うにあたってCRI Atom Profilerを活用。プロファイラー機能は、ランタイムで(インゲームでのプレビュー中に)再生された音声ファイルの情報をログとして収集・可視化することができるため、目に見えないサウンドのデバッグで有効活用されました。

石川氏

本作では、特にライブパートで「マシン負荷を軽減するために、サウンドもなんとかして!」と言われる局面が何度かあったのですが、その際CRI Atom ProfilerでCPU負荷モニタリングやデータサイズを確認できたことが大いに役立ちました。

最適化とプレイ体験の向上に寄与したミドルウェアたち

これまではアイドルの実在感を高めるためのリップシンクと音声ファイルの制御を中心に解説しましたが、他にもプレイ体験を高めるために数多くのミドルウェアが使用されています。

ムービーシーンを圧縮してアプリサイズを小型化

モバイルアプリは遊びたい時にすぐ遊べる、やりたい機能にすぐアクセスできることが重要です。アプリサイズ自体も小さい方が好ましく、特にAndroid版ではオープニングムービーを150MBの中に収める必要がありました。

本作ではムービーの圧縮と再生にCRI Sofdec(※)を使用。VP9コーデックを用いることで、H.264コーデックと比較して各プリレンダムービーの容量を2分の1以下に抑えることができました。
※CRI・ミドルウェアが提供する高画質・高機能ムービーミドルウェア

高画質・高機能ムービーミドルウェア CRI Sofdec

オープニングムービー以外にプリレンダーが使用されているのは「ガシャ演出」で、この理由はロード時間の短縮とのこと。Unityのタイムラインベースで作成したムービーを録画しているかたちになるため、プリレンダーとリアルタイムによるルックの差異はないものの、アセットを読み込まないぶん素早く結果が描画されます。これで、さくさくガシャを回すことができます。

実際のガシャ画面。星1、星2のアイドルはリアルタイムだが、星3のアイドルはムービーシーンが再生される。多少のポスト処理は行われているが、基本はUnity上で再生されたムービーそのまま

リズムゲームパートのレイテンシーを極限まで縮める

リズムゲームパートにおいてはプレイ中のレイテンシー(遅延)を可能な限り小さくするために、CRI ADXの機能であるSonicSYNCが用いられています。

スマートフォンでの音声再生遅延を限りなくゼロにする機能で、iOS/Androidともにタップしてから音が鳴るまでの遅延時間を約50ミリ秒短縮できるとのこと。これはグランドピアノの鍵盤を叩いてから音が鳴るまでの間と同程度の遅延です。石川氏いわく「これを試した際、エンジニア側から(レイテンシーが)減ったな!という驚きの声が上がっていたのが印象的でした」とのこと。

ADX新機能「SonicSYNC」

Unity標準サウンドでは難しいインタラクティブミュージック

CRI ADXなどのオーディオミドルウェアを扱うことで実現する演出のひとつにインタラクティブミュージック(BGMの動的制御)があります。本作では、事務所のBGMがパートごとに書き出されており、ゲーム内の状況に応じて鳴らし分けされています。

事務所の基本BGM。「ストーリー」に遷移すると、BGMからリズムトラック(ドラム)が消えるのが分かるだろうか?また、「キャラクター」に遷移すると、ブラシ奏法のような別のリズムトラックが追加される。神は細部に宿る!

これが実際のCRI Atom Craft画面。BGMをパートごとに書き出し、アクショントラックで制御している

BGMは60~90秒のループが大半を占めるが、例外的にワンループ3分ほどのBGMも存在する。長尺のBGMは途中から(例えば“サビから”、“アウトロから”といった具合に)再生できるようにマーカーが付いており、プロデュースパートの局面に応じて再生箇所が変化するネタも仕込まれている。ゲーム中で探してみよう

代替手段が見つからない、包括的なCRI・ミドルウェアのツール提供

バンダイナムコスタジオでは、これまでに紹介したCRI・ミドルウェアの製品群を継続的に利用しており、さまざまなタイトルで活用してきました。記事の結びとして、本作におけるミドルウェアの重要性について各人のコメントを掲載します。

高山氏

プロデューサーの立場から見ると、開発メンバーのツールへの慣れが一番のメリットでした。

本作のような運用タイトルの開発においては、用途が分かっている、慣れ親しんでいるツールが必要です。運用時のトラブルなど、いざという時に支障が出ても困らないように、普段から安心して使っているツールを選ぶのが重要でした。

下野氏

たとえ開発環境が変わっても、サウンド側のワークフローが完全に統一できている安心感があります。

あとはエンジニアから言伝を貰っているので、ここで喋りますね。

「サウンド開発のワークフローが各機種で統一できているのが嬉しいです。サポート情報も多く、連絡をした際の打ち返しも早いので助かっています」

石川氏

打ち返しも早いですし、できないことはできないと言う、できなくても対応の目処を教えてくれるなど、誠実な対応が嬉しいです。

サウンドの面から言えば、CRI Atom Craftの拡張性の高さが素晴らしいです。スクリプト機能による自動化、効率化が図れる点も大変助かりました。

取材に協力いただいた3名。楽しそうに開発を振り返っていたのが印象的でした。ありがとうございました!

本記事はビデオゲームWebメディア「AUTOMATON」との共同企画です。企画立案はAUTOMATON 川瀬編集長、インタビューはゲームメーカーズ 神山が行い、CRI・ミドルウェア様ならびにバンダイナムコエンターテインメント様、バンダイナムコスタジオ様ご監修のもと展開しています。

当日の和気あいあいとしたインタビューの雰囲気は、AUTOMATONに掲載されたインタビュー記事もご覧ください!

CRI・ミドルウェア公式サイトアイドルマスター シャイニーカラーズ Song for Prism 公式サイト
神山 大輝

ゲームメーカーズ編集長およびNINE GATES STUDIO代表。ライター/編集者として数多くのWEBメディアに携わり、インタビュー作品メイキング解説、その他技術的な記事を手掛けてきた。ゲーム業界ではコンポーザー/サウンドデザイナーとしても活動中。

ドラクエFFテイルズはもちろん、黄金の太陽やヴァルキリープロファイルなど往年のJ-RPG文化と、その文脈を受け継ぐ作品が好き。

関連記事

『SINoALICE ーシノアリスー』が『シノアリスだったナニカ』に移行するまで。アプリサーバーなしで7年間のプレイ記録を後続アプリへ引き継ぐ【CEDEC2024】
2024.11.20
Unity 6のグラフィックスに関する学習リソースまとめ、Unity Technologiesが公開
2024.11.19
『Mayaリギング 3rd edition』、2024年11月下旬にボーンデジタルから発売
2024.11.19
Blender入門書を卒業したユーザー向けの書籍『プロフェッショナルBlneder』、ボーンデジタルが2024年11月下旬に発売予定
2024.11.18
DATASPELSBRANSCHENがスウェーデン国内のゲーム業界分析レポートを公開。経済打撃に反して、ゲーム業界の収益規模は過去最高規模
2024.11.15
Macの動画編集ソフト「Final Cut Pro」、13年ぶりの新バージョン「11」がリリース。AIを利用した強力なマスク機能や、キャプションの自動生成機能などを搭載
2024.11.15

注目記事ランキング

2024.11.14 - 2024.11.21
VIEW MORE

連載・特集ピックアップ

イベントカレンダー

VIEW MORE

今日の用語

フォワードシェーディング(Forward Shading)
フォワードシェーディング オブジェクト毎にライティングの計算を行い、その計算結果を描画するレンダリング手法。フォワードレンダリングともいう。ディファードシェーディング(Deferred Shading)に比べてポストプロセスの自由度は低いが、(何も物を配置しなかった際にかかる)最低限の描画コストが低く、アンチエイリアス処理などにおいてフォワードシェーディングの方が有効な分野も存在する。
VIEW MORE

Xで最新情報をチェック!