ソニーの先端技術を紹介！空間をそのままバーチャル世界へ取り込むキャプチャー技術や”スポーツのルールすら変える可能性がある”トラッキングの仕組みとワークフローを解説【CEDEC2022】

「リアルとバーチャルをつなぐVolumetric Production System」ではソニーグループ株式会社のR&Dセンター 事業探索・技術戦略部門 事業探索グループ vTech課 空間映像プロダクションエキスパートである増田 徹氏が登壇。ソニーのVolumetric Captureの技術と、ゲームエンジンでの活用を含むコンテンツ制作事例を紹介しました。

「Volumetric Production System」とは

Volumetric Captureとは、実在の空間を3次元デジタルデータとして取り込み、高品位に再現する技術で、リアルなものをリアルなまま簡単にバーチャルの世界に取り込むことができる技術です。

通常の2D撮影では平面をキャプチャーするのに対し、Volumetric Captureでは空間を取り囲むようにカメラを設置し、空間全体を3DCGデータとして撮影します。

2D撮影では、平面でキャプチャーしたものをテレビなど平面の画面での視聴する形になる。それに対しVolumetric Captureは空間でキャプチャーするので、立体モニターやVR/AR/MRデバイスなどに3Dとして出力することも可能だ

通常の3DCGモデルと比較すると、Volumetric Captureは姿勢や形状・ライティングなどの変更が難しい課題があるものの、ひらひらした服装やダイナミックで不規則な動きなどフォトリアルな表現を簡単に実現できることが利点としてあげられます。両者どちらにも一長一短があるので、お互いの難しいところを補い合うようにして使うことで、コンテンツ制作の幅を広げることが可能です。

Volumetric Captureを3DCGコンテンツとして利用するまでの流れは以下の通りです。

複数台のカメラで撮影する際は、シャッターが下りるタイミングまで完全に同期させる必要がある。また、色などを決定するテクスチャマッピングは3Dモデルが生成された後に処理される。その後、視聴デバイスに合わせる形でCG合成を行っていく

Volumetric Captureは、2022年7月にソニーPCLの清澄白河ベースに新設されたVolumetric Captureスタジオにて撮影されています。詳しいスタジオスペックとともに、3Dデータや2Dデータだけではなく、マーカーレスのモーションキャプチャーによる人物ボーンデータも出力可能であると紹介されました。

Volumetric Captureスタジオは、既にあったバーチャルプロダクションスタジオに隣接する形で建設された

撮影可能エリアは直径6m、高さ3m。フレームレートは最大60fpsでの撮影にも対応している。

「Volumetric Production System」を活かした映像制作事例

Volumetric Captureを使えば、アニメの変身シーンのような激しいカメラワークや、ひとりの人物を同時に複数登場させる幻想的な演出も、実写で再現することができるようになります。

コンテンツ制作例として、テレビ東京系列で放送中の番組「リズスタ- Top Of Artists! –」での変身バンクシーン、勝利後のダンスシーンや、中島 美嘉氏の楽曲「Delusion」のミュージックビデオなどが紹介されました。

Volumetric Captureで出力した3Dデータをゲームエンジンで活用した事例として、『ミヅキ討魔伝～五芒を継ぐもの～』、『ReVers3:x』の2作品の紹介がありました。

ゲームエンジンでの活用事例1：『ミヅキ討魔伝～五芒を継ぐもの～』

『ミヅキ討魔伝～五芒を継ぐもの～』はソニーのグループ内横断プロジェクトである「Project Lindbergh」で制作された、「剣劇×Volumetric×VR」というテーマの実験的なVR映像コンテンツです。ゲームエンジンとしてUnityが使用されています。

舞台上で繰り広げられる剣劇アクションをVRで視聴することで、あたかも自分がその場所にいるように感じられる、自由視点時代の舞台表現における楽しさのツボを探った実験コンテンツ

Volumetric Captureで出力されたフォトリアルな3DCGモデルをもとに、背景やVFXエフェクト表現を加えることも可能。従来の手法では手間のかかるなびく髪の毛やひらひらとした衣服の表現も簡単に実現できる

HMDを装着した視聴者の目の前でダイナミックなアクションを作り、かつ限られたスタジオの範囲内で撮影を開始・終了させるために、カット割りやつなぎ、演者の立ち位置や視線などを綿密に計画して制作された

本作ではVolumetric Captureならでは衣装や体の動きの表現が高い評価を得られたといいます。また、VRならではの近さの体感、Volumetricモデルだからできる人物へのVFXや風の表現、CG作品だからこその舞台転換やエフェクトの追加、高速斬撃や分身といったアクション表現といった演出施策が高く評価されたことから、Volumetric Captureを使ってストーリー性のあるコンテンツ制作が可能なことを確認できたとしています。

ゲームエンジンでの活用事例2：『ReVers3:x』

『ReVers3:x』は「XR Live×Volumetric×Unreal Engine」がテーマのXR Live仮想空間プロジェクト作品です。独自に制作した仮想空間を舞台にさまざまなアーティストのライブを楽しむことができるショートライブプロジェクトとなっています。

使用したゲームエンジンはUnreal Engine 4。ここではReVers3:x制作時の舞台裏でどんなことが行われていたのか、全体のワークフローや撮影時に起こった課題、試行錯誤の過程が紹介されています。

撮影から背景CG、2Dクロマキーデータ、Volumetric Captureによる3Dデータを作成し、UE4上で組み合わせ照明・演出を行うというワークフローが当初想定されていた

計画当初はリアルタイムレンダリングでの収録を想定していたが、制作過程で背景が非常にリッチになったため、光の表現を活かすためにオフラインレンダリングに変更。しかしUE4シーケンサーを使ったレンダリングは初経験だったため、アンチエイリアシングや、VolumetricデータのMeshとTextureとの同期に関して試行錯誤を繰り返したという

「ReVers3:x」の総括として、増田氏はコロナ禍におけるオンラインライブ視聴体験において現実のライブハウスやコンサートホールでは作れない映像表現の可能性を示すことができ、また新しい映像表現ながらもライブパフォーマンスに集中できる自然な演出のコンテンツを制作できたと振り返りました。演出面では進化の余地が残るものの、今後はリアルタイムでの演出やカメラワーク以外の演出手法にもチャレンジしていくとのことです。

苦労して作ったコンテンツとなったが、本作は後編集での自由度の高さやスローテンポな曲調との相性の良さなどが撮影監督から非常に高く評価されたという

増田氏は講演のまとめとして、Volumetric Capture技術は「リアルをバーチャルに持ってくる技術」であると述べ、3DCGやゲームエンジンとの組み合わせた新たな表現が可能になると語っています。

発展途上の技術のため課題は多いものの、日々の改善と今後の進化次第で更に新しい表現の手法が誕生する可能性が大きいとしています。

また、今後の展望として、清澄白河ベースの新スタジオでバーチャルプロダクションスタジオともに最先端の技術を使い、新しい表現にトライしていきたいとして締めました。

講演後の質疑応答ではVolumetricの出力フォーマットについての質問がなされた。現在はAlembic（モデル）+MOV（テクスチャ）、もしくはシーケンシャルOBJ（モデル）+シーケンシャルテクスチャでの出力となっているという

第2部ではソニー株式会社のイメージングプロダクツ＆ソリューションズ事業本部 システム・ソフトウェア技術センター ソフトウエア技術第3部門 イメージングクラウド開発1部2課統括課長である服部 博憲氏が登壇し、スポーツのルールすら変えるリアルタイムトラッキング技術とその活用例、そしてこれからの挑戦について語りました。

はじめに、ソニーのグループ会社である「Hawk-Eye Innovations」と同社が提供するサービス「Hawk-Eye」の紹介が行われました。

Hawk-Eyeは現在スポーツの試合で使用されている審判補助システムであり、画像処理とCG表現によって、ボールのイン・アウトなどを始めたとした判定の支援をリアルタイムに行うテクノロジーです。

ソニーグループはHawk-Eyeを通じてスポーツ分野に対し、より公平に（Fairer）、安全に（Safer）、魅力的に（Engaging）、分かりやすく（Informed）といったアプローチを行っており、現在世界90カ国、年間20,000以上のスポーツ試合このサービスを提供しています。

テニス分野においてはライン判定システム”ELC：Electronic Line Calling”が国際テニス連盟の基準にも合格し、「チャレンジシステム」としてルールへ導入

Hawk-Eyeはサッカーのゴール判定システム”GLC：Goal Line Technology”として世界中のサッカーリーグ、サッカー連盟でも公式採用されている

また、そこから進化したシステムとして「Hawk-Eye Live」も紹介されています。これはCOVID-19の影響による線審の削減対策として導入されたシステムです。テニスでの「チャレンジシステム」を廃止し、「Hawk-Eye Live」による自動判定とチェアアンパイアにより審判を行う取り組みです。

「Hawk-Eye Live」により、線審（ライン・ジャッジ）がいなくても試合の運営ができるようなった

これらのシステムを支えているコア技術として、以下の3つが挙げられています。

これらのコア技術を応用した新たな試みとして、「SkeleTRACK」が紹介されました。

「SkeleTRACK」は選手やボールの動きをより高精度・リアルタイムにトラッキングする技術です。これはフィールドを取り囲むように配置したカメラの映像解析から、ボールだけでなく選手の骨格もリアルタイムにトラッキングします。

「SkeleTRACK」の概要。例としてサッカーではフィールドに設置された8台のカメラを使い試合を撮影。複数の方向から撮影することで選手の骨格やボールなどの情報を三次元的に推定することができる

野球の投球シーンにおいては、動画とあわせてピッチャーのリリースポイントからバッターボックスまでの軌道やボールの回転の様子を1球ごとに時々刻々と取得することができるため、選手のパフォーマンスの分析やフィードバックなどに活用されています。

続いて、現在開発を進めている技術として、これらのシステムで高精度にトラッキングした試合内容を3DCGによって再現・可視化する技術「HawkVISION」が紹介されました。

HawkVISIONはSkeleTRACKなどでトラッキングした骨格データにCGモデルを被せることで試合の流れを再現する技術です。

選手や審判などさまざまな視点から試合を楽しんだり、検証したりすることができる他、メタバースへでの活用も視野に入れているとのこと

SkeleTRACKとHawkVISIONの処理の流れ。現実からキャプチャすることによって、試合の流れや迫力を詳細に再現できる

また、SkeleTRACKとHawkVISIONの技術は、「メディア」「審判判定」「パフォーマンスの分析」だけにとどまらず、ゲームなどのエンタテインメント分野において「新しいエンタメコンテンツ体験」の創造ができるポテンシャルもあるのではないかと服部氏は語りました。

SkeleTRACKとHawkVISIONが持つ4つのポテンシャル

「パフォーマンス分析」を「メディア」に載せる例として、統計データでの平均と実際のプレイのボール軌道などをオーバーレイさせることにより、プレイやパフォーマンスの凄さをダイレクトに伝えられる

最後に服部氏は紹介してきたスポーツ関連技術を振り返り、これらフィジカルとバーチャルを繋ぐ技術を使ってのゲームなどへの新しいエンタテイメントへの応用やメタバースの世界への活用の可能性について述べ、講演を締めくくりました。

wvigler

アンリアルエンジンにハマり、ぷちコンでゲーム作ってた男。映像編で2連覇したことも。
昔はよくアーケードゲームとかやってました。
一番やり込んだのは「ケツイ ～絆地獄たち～」「戦国BASARAX」あたり。ローグライトゲームとかも好きです。