実写撮影の最新技術“バーチャルプロダクション”とは？事例紹介からスタジオ事業の始め方、体験会まで盛りだくさんの「Virtual Production Deep Dive 2023」レポート

バーチャルプロダクションは、映画やCMなど映像コンテンツの撮影工程において、リアルタイム3DCGを背景として使用しながら撮影を行う技術およびワークフローの総称（※）です。
※ 定義次第では、LEDウォールを前提とした撮影技術のほか、VFXを前提としたグリーンバック撮影や、モーションキャプチャーを活用した3D空間での撮影も含む場合もある。「THE VIRTUAL PRODUCTION FIELD GUIDE」（Epic Games）では、撮影前のビジュアライゼーションもバーチャルプロダクションに分類されている。本稿ではLEDウォールを用いたバーチャルプロダクションを主として扱う

画像は「THE VIRTUAL PRODUCTION FIELD GUIDE」より引用

例えば、「ラスベガスの夜景をバックに撮影したい！」と考えたとき、普通は“被写体となる演者と撮影クルーが渡米した上で、現地の規則に従って撮影を行う”といった工程を踏む必要があります。

一方、ラスベガスを模した3Dシーンをゲームエンジン上で制作し、これを巨大なLEDウォールに投影してしまえば、国内のスタジオにいるまま現地での撮影をシミュレーションした環境が構築できるというわけです。演者のスケジュールを押さえるのも最小限で済みますし、現実に存在しない背景を3DCGによって作成することも可能です。

バーチャルプロダクションを用いた映像作品として特に有名なのは『マンダロリアン』でしょう。一般的なグリーンバック合成よりライティングが自然（LEDウォール自体が光っているため、演者自身がその影響を受ける）かつ髪の毛のスキマや衣服の繊維などの細かい部分も自然な映像となり、合成後のルックを確認しながら撮影を進めることでポストプロダクションの工数削減も期待できます。

このバーチャルプロダクションだけにフォーカスしたイベントとして開催された「Virtual Production Deep Dive 2023」には、CG業界関係者を中心に多くの参加者が集まりました。会場には8KのLEDディスプレイ（Crystal LED）が設置されており、各社のスライドもLED投影されています。

司会を務めたのはエピック ゲームズ ジャパン ソリューションアーキテクトの向井 秀哉氏。ノンゲーム分野におけるアンリアルエンジンの活用方法に明るく、本イベント最初の講演ではスピーカーも務めています。

なお、各講演はいずれもYouTube公式チャンネル「Unreal Engine JP」で公開されています。

本記事では当日の講演順に解説を行いますが、これからバーチャルプロダクションに初めて触れる方は「①バーチャルプロダクションとインカメラVFXについて / LEDスタジオ事業をロケットスタートする方法」（2部構成）で概要を掴んだあと、オープニングの「②海外のバーチャルプロダクション スタジオと事例」「③プリレンダーアーティストが挑むバーチャルプロダクション制作」で国内外の事例を確認し、「④期間限定プロジェクトの実施から考える、VPスタジオに必要なこと」でビジネス面にも触れるという順番で視聴すると理解が深まるかと思います。

最初に登壇したのはエピック ゲームズ ジャパン 向井 秀哉氏。日本国外のLEDステージを備えたスタジオを地域ごとに調査し、使用機材のトレンドや各スタジオの代表作を取りまとめた講演が行われました。

調査対象となったのはLEDとプロセッサー、カメラ、トラッキングシステム、GPU＆レンダーノード、ソフトウェア、そしてスタジオの大きさの7項目。

例えば、アメリカにある「Nant Studios」は約2,230平方メートルの広大なスタジオを有し、LEDウォールとしてROE Black Pearl 2V2 2.84mm、天井にはROE Carbon 5.77mmが配置されています。プロセッサーはBrompton Tessera SX40で、カメラはメインで使用するものとしてArri Alexa Mini LF、Sony VENICE 1&2、RED RANGER MONSTROなどが挙げられています。

各スタジオの設備は同様の形式で紹介されており、カナダの「Pixomondo」はROE Black Pearl 2V2 2.84mm + ROE Carbon 5.77mmを備え、プロセッサーはNant Studios同様にBrompton Tessera SX40など、分かりやすく製品名で紹介されています。

講演の終わりには、今回の調査結果を踏まえた円グラフも紹介されています。メインのLEDパネルはROEやAOTOなど中国メーカーが非常に強く、プロセッサーは半数以上がBromptonを採用。向井氏はあくまで「スライドで紹介するスタジオのみの統計で、世界的な統計や平均ではない」としながらも、主要メーカーやトレンドとなる機材を網羅的に確認できる有意義な講演となりました。

登壇したのはソニーPCL 伊藤 隆嗣氏と角川大映スタジオ 小林 壯右氏。

ソニーPCLと角川大映スタジオは、2023年1月から期間限定で、角川大映スタジオ内に約8Kサイズのソニー製Crystal LED Bシリーズを設置し、大型LEDディスプレイを活用したインカメラVFXを中心とするバーチャルプロダクション環境を一般に提供しています。

バーチャルプロダクションはLEDウォールへの投影だけが全てではなく、演者が歩くステージには実際の撮影と同じくリアルな美術セットを用意し、これらを融合することで表現の拡張を行います。美術セットの製作は角川大映スタジオが得意とする要素でした。一方、ソニーPCLは、2022年2月に開設した最先端の撮影スタジオ「清澄白河BASE」を拠点として、バーチャルプロダクションを活用した映像制作を常に行ってきました。こうした両社のコラボレーションについて、本講演では「事前準備編」と「稼働編」の二部構成で解説されました。

「事前準備編」では、伊藤氏からバーチャルプロダクション拡大の背景とワークフローの変化が説明されました。新型コロナウイルス感染拡大に起因する制作手法の変化や、ゲームエンジンの進化によって高品質な映像制作がリアルタイムに描画できるようになったことを背景として、移動や輸送コストの低いバーチャルプロダクション手法が拡大。

これに伴って映像制作のワークフローも変化し、スタジオで映像確認を行うVAD工程が必須となりました。従来からスタジオレンタル事業を行ってきた角川大映スタジオも、得意とする美術セットだけでなくインカメラVFXによる背景制作に意欲を示し、2022年8月頃からプロジェクトに向けた議論を開始したとのこと。

続く「稼働編」では、バーチャルプロダクションを活用した映像制作のスケジュール感や「清澄白河BASE」と角川大映スタジオの使い分けなど、取り組み全体を通しての感想が両社から語られました。

続いて登壇したのは、オムニバス・ジャパン 徳重 岳浩氏と近藤 晋也氏。冒頭では徳重氏によるオムニバス・ジャパン社の紹介および東北新社・電通クリエーティブＸ・ヒビノ・電通クリエーティブキューブ・オムニバス・ジャパンの５社共同プロジェクト「メタバース プロダクション」と電通グループが開発した映像制作における「カーボンカリキュレーター」に関する情報が提示されました。

スタジオはヒビノ日の出ビル常設の「studio PX HIBINO」、東宝11st「studio PX SEIJO」の2箇所で、バーチャルプロダクションで活用可能な31種類の3DCGアセットも用意している

「日本の映像制作業界で手つかずだった温室効果ガス削減について、映像制作におけるCo2排出量がどの程度かを計算できるカーボンカリギュレーターを開発しました。制作後にロケ移動やスタジオ美術、CG制作日数などの工数を入力することで算出できます（徳重氏）」と、物理的な移動を伴わないバーチャルプロダクションの可能性を示唆した

近藤氏からは、メタバース プロダクションの一貫で制作された『Vocument #1』と、全編を通してLEDウォールで撮影した『ひとひらの初恋』のメイキングが語られました。『Vocument #1』では全6シーンをUE4.27で制作し、合計20シーンを2日で収録を終えたとのこと。

ここで問題となったのは、リアル空間の照明やLEDウォールの照り返しの影響を受けた机と、CGで制作するオブジェクトのルックを馴染ませる作業でした。使用したDCCツールはMayaやAdobe Substance 3D Painterであり、モデル制作自体はプリレンダーと同様の工程でしたが、リアル空間の美術セットを交えた確認・調整は実際に投影しながら行う必要がありました。また、作業モニターとLEDウォールでの見え方の違いについて、ライティングの観点から解説しています。

「ひとひらの初恋」では制作環境をUE5.1に移行し、GIにLumenを採用。また、数多くの花オブジェクトが用意された花屋のシーンではNaniteを活用しています。光の表現が大きく向上し、大量のポリゴン数を扱えることでハイエンドな表現が可能になった一方で、ライトリークなどの問題も発生したとのこと。近藤氏は「プリレンダーで数時間掛けて行うレンダリングをリアルタイムで行う以上、どうしても不測の事態や見え方はあると思います」とし、アーティスト自身も仕組みを知った上で作業をするのが好ましいと指摘しました。

講演の終わりに、バーチャルプロダクション成功のポイントとして全ての部署にワークフローを理解してもらうことの重要性が語られました。さらに「“リアルタイム”というのはその場でなんでもできるわけではなく、あくまでリアルタイムで送出できるだけ。事前の準備が本当に大切なので、そこを全員が理解すべきです（徳重氏）」と語り、これからもバーチャルプロダクション特有のワークフローの認知拡大に努めたいとのコメントを残しました。

最後の講演に登壇したのは、スタジオブロス 金子 元隆氏と嶋田 裕太氏。講演は2部構成となっており、嶋田氏による第1部「バーチャルプロダクションとインカメラVFXについて」ではバーチャルプロダクション全体の概要紹介が語られました。

バーチャルプロダクションではデザインとプリビズの間にVAD工程があり、デザイナー、テクニカルアーティスト、エンジニアの3者がそれぞれアセット制作およびシーンファイルの制作、ステージでのオペレーション、パイプライン構築を担当しています。

バーチャルプロダクションではフレームレートのドロップが許されないため、ユーザーがフレームレートを決定できるゲームと異なり必ず60fps以上で送出する必要があります。一方、360度全方位を作り込む必要はなく、撮影に使用する範囲のみを効率的に作り込むことが可能です。嶋田氏によると、コンテンツ制作のコツは「現場で足すのは簡単だが減らすのは難しいため、極力シンプルな状態で持ち込む」こと。

その上で「現場で発生する問題の約65%はコンテンツが原因です。しかし、ハードウェアの問題はコンテンツ側では対応できないため、実績のあるLEDプロセッサーを用意すべきです」と説明し、コンテンツ・ハード両面の特性を理解することが重要と指摘しました。

第2部「LEDスタジオ事業をロケットスタートする方法」では、金子氏によるバーチャルプロダクション用のスタジオ制作に関する知見が公開されました。これからバーチャルプロダクション用のスタジオ事業を始める事業者に向けて、必要となる機材や場所（立地）、人的リソースなどを極めて具体的に紹介したセッションです。

必要な要素はUE5.2と動作環境（GPUは予算の限り性能の高いものを積むと“仕事が早く終わる”とのこと）、スタジオの場所、カメラとレンズ、CG表示デバイス。これに加えてヒューマンリソースとして、撮影スタッフやUEオペレーションスタッフが必要になります。

スタジオは天井の高さや耐荷重が最も重要ですが、意外と重要なのは床面の材質で、トラッカーを三脚で立てたときに微細な揺れで動かないようにコンクリートが良いとのこと。また、大型の撮影になればなるほど美術セットなど資材置き場が必要になるため、スタジオだけでなくスタンバイできるサブスタジオが必要になります。

後半は具体的なハードウェアの型番を交えて、必要なシステムと配線図、そしてバーチャルプロダクションを導入する際の心構えが語られました。金子氏は機材選定において「経験がある業者に依頼すべきで、パネルやプロセッサーは安定性を求めて冒険はしない方が良いです。インカメラVFX未経験者の意見は、それらしいものでも聞かないほうが失敗しません」と述べるとともに「人材についてはUE経験者にこだわらず、CGと撮影の組み合わせに対して興味を持つ方を育てるのが良いのではないか」と提言しました。

懇親会ではインカメラVFXのデモンストレーションが行われました。会場に設置された8KのLEDディスプレイ(Crystal LED)とソニー製ラージセンサーカメラ「VENICE」に触れることができ、カメラの動きに追従してCG背景が動く様子や、フォーカスとDoFが連動する様子を確かめることができました。

実際にカメラを操作し、横に置いてあるディスプレイで撮影中のプレビューを確認できた。筆者自身も知識としてインカメラVFXの概要は把握していたが、実機に触ることで面白さや有用性の理解が一気に進む印象を持った

カメラの動きはVIVEトラッカーで検知。フォーカス（ピント）リングの回転は有線接続されたデバイスを通じてPC接続され、UEシーン上のカメラ設定を動的に変更する。なお、この日はOptiTrackシステムも確認することができた

この他にも、ディスプレイサイズが27インチに拡大したソニーの空間再現ディスプレイ「ELF-SR2」実機展示などを体験可能で、最新技術に触れながら交流を楽しむ貴重な機会となりました。

神山 大輝

ゲームメーカーズ編集長およびNINE GATES STUDIO代表。ライター/編集者として数多くのWEBメディアに携わり、インタビューや作品メイキング解説、その他技術的な記事を手掛けてきた。ゲーム業界ではコンポーザー/サウンドデザイナーとしても活動中。

ドラクエFFテイルズはもちろん、黄金の太陽やヴァルキリープロファイルなど往年のJ-RPG文化と、その文脈を受け継ぐ作品が好き。