ソニーの先端技術を紹介!空間をそのままバーチャル世界へ取り込むキャプチャー技術や”スポーツのルールすら変える可能性がある”トラッキングの仕組みとワークフローを解説【CEDEC2022】

2022.09.08
注目記事ゲームの舞台裏講演レポート公開資料まとめCEDEC2022
この記事をシェア!
twitter facebook line B!
twitter facebook line B!

国内最大規模のゲーム業界カンファレンス「CEDEC 2022」が、2022823日(火)から825日(木)までの日程で開催されました。初日となる823日には「ソニーの先端技術紹介 ① Volumetric Production System ② 高精度・リアルタイムなトラッキング技術とCGによる可視化技術」と題した招待講演が行われました。

講演は2部に分かれており、前半の「リアルとバーチャルをつなぐVolumetric Production System」では、ソニーグループ株式会社の増田徹氏が、後半の「高精度・リアルタイムなトラッキング技術とCGによる可視化技術~ソニーがスポーツ界に起こしてきた変革とこれからの挑戦~」では、ソニー株式会社の服部博憲氏が登壇しました。

空間を3次元デジタルデータとして取り込み高品位に再現することで新たな表現を生み出すVolumetric映像技術と、スポーツ界に変革を起こした高精度なリアルタイムトラッキング技術という、2つのソニーの最先端技術が解説された本講演をレポートします。

TEXT / wvigler
EDIT /  田端 秀輝

目次

Volumetric技術の解説とコンテンツ制作への活用

リアルとバーチャルをつなぐVolumetric Production System」ではソニーグループ株式会社のR&Dセンター 事業探索・技術戦略部門 事業探索グループ vTech課 空間映像プロダクションエキスパートである増田 徹氏が登壇。ソニーのVolumetric Captureの技術と、ゲームエンジンでの活用を含むコンテンツ制作事例を紹介しました。

「Volumetric Production System」とは

Volumetric Captureとは、実在の空間を3次元デジタルデータとして取り込み、高品位に再現する技術で、リアルなものをリアルなまま簡単にバーチャルの世界に取り込むことができる技術です。

通常の2D撮影では平面をキャプチャーするのに対し、Volumetric Captureでは空間を取り囲むようにカメラを設置し、空間全体を3DCGデータとして撮影します。

2D撮影では、平面でキャプチャーしたものをテレビなど平面の画面での視聴する形になる。それに対しVolumetric Captureは空間でキャプチャーするので、立体モニターやVR/AR/MRデバイスなどに3Dとして出力することも可能だ

通常の3DCGモデルと比較すると、Volumetric Capture姿勢や形状・ライティングなどの変更が難しい課題があるものの、ひらひらした服装やダイナミックで不規則な動きなどフォトリアルな表現を簡単に実現できることが利点としてあげられます。両者どちらにも一長一短があるので、お互いの難しいところを補い合うようにして使うことで、コンテンツ制作の幅を広げることが可能です。

Volumetric Captureを3DCGコンテンツとして利用するまでの流れは以下の通りです。

  1. 被写体を取り囲むように配置した多台数のカメラで同期撮影
  2. 各カメラ画像から高品位3Dモデル生成
  3. 3Dモデルにカメラ映像のテクスチャマッピング処理、高品位データ処理
  4. 視聴デバイスに合わせたCG合成

複数台のカメラで撮影する際は、シャッターが下りるタイミングまで完全に同期させる必要がある。また、色などを決定するテクスチャマッピングは3Dモデルが生成された後に処理される。その後、視聴デバイスに合わせる形でCG合成を行っていく

Volumetric Captureは、20227月にソニーPCL清澄白河ベースに新設されたVolumetric Captureスタジオにて撮影されています。詳しいスタジオスペックとともに、3Dデータや2Dデータだけではなく、マーカーレスのモーションキャプチャーによる人物ボーンデータも出力可能であると紹介されました。

Volumetric Captureスタジオは、既にあったバーチャルプロダクションスタジオに隣接する形で建設された

撮影可能エリアは直径6m、高さ3mフレームレートは最大60fpsでの撮影にも対応している。

「Volumetric Production System」を活かした映像制作事例

Volumetric Captureを使えば、アニメの変身シーンのような激しいカメラワークや、ひとりの人物を同時に複数登場させる幻想的な演出も、実写で再現することができるようになります。

コンテンツ制作例として、テレビ東京系列で放送中の番組「リズスタ- Top Of Artists! –」での変身バンクシーン、勝利後のダンスシーンや、中島 美嘉氏の楽曲「Delusion」のミュージックビデオなどが紹介されました。

ゲームエンジンを使ったVolumetricコンテンツ制作とその未来

Volumetric Captureで出力した3Dデータをゲームエンジンで活用した事例として、『ミヅキ討魔伝~五芒を継ぐもの~』『ReVers3:x』の2作品の紹介がありました。

ゲームエンジンでの活用事例1:『ミヅキ討魔伝~五芒を継ぐもの~』

ミヅキ討魔伝~五芒を継ぐもの~』はソニーのグループ内横断プロジェクトである「Project Lindbergh」で制作された、「剣劇×Volumetric×VR」というテーマの実験的なVR映像コンテンツです。ゲームエンジンとしてUnityが使用されています。

舞台上で繰り広げられる剣劇アクションをVRで視聴することで、あたかも自分がその場所にいるように感じられる、自由視点時代の舞台表現における楽しさのツボを探った実験コンテンツ

Volumetric Captureで出力されたフォトリアルな3DCGモデルをもとに、背景やVFXエフェクト表現を加えることも可能。従来の手法では手間のかかるなびく髪の毛やひらひらとした衣服の表現も簡単に実現できる

HMDを装着した視聴者の目の前でダイナミックなアクションを作り、かつ限られたスタジオの範囲内で撮影を開始・終了させるために、カット割りやつなぎ、演者の立ち位置や視線などを綿密に計画して制作された

本作ではVolumetric Captureならでは衣装や体の動きの表現が高い評価を得られたといいます。また、VRならではの近さの体感、Volumetricモデルだからできる人物へのVFXや風の表現、CG作品だからこその舞台転換やエフェクトの追加、高速斬撃や分身といったアクション表現といった演出施策が高く評価されたことから、Volumetric Captureを使ってストーリー性のあるコンテンツ制作が可能なことを確認できたとしています。

ゲームエンジンでの活用事例2:『ReVers3:x』

ReVers3:x』は「XR Live×Volumetric×Unreal Engine」がテーマのXR Live仮想空間プロジェクト作品です。独自に制作した仮想空間を舞台にさまざまなアーティストのライブを楽しむことができるショートライブプロジェクトとなっています。

使用したゲームエンジンはUnreal Engine 4。ここではReVers3:x制作時の舞台裏でどんなことが行われていたのか、全体のワークフローや撮影時に起こった課題、試行錯誤の過程が紹介されています。

撮影から背景CG2Dクロマキーデータ、Volumetric Captureによる3Dデータを作成し、UE4上で組み合わせ照明・演出を行うというワークフローが当初想定されていた

計画当初はリアルタイムレンダリングでの収録を想定していたが、制作過程で背景が非常にリッチになったため、光の表現を活かすためにオフラインレンダリングに変更。しかしUE4シーケンサーを使ったレンダリングは初経験だったため、アンチエイリアシングや、VolumetricデータのMeshとTextureとの同期に関して試行錯誤を繰り返したという

ReVers3:x」の総括として、増田氏はコロナ禍におけるオンラインライブ視聴体験において現実のライブハウスやコンサートホールでは作れない映像表現の可能性を示すことができ、また新しい映像表現ながらもライブパフォーマンスに集中できる自然な演出のコンテンツを制作できたと振り返りました。演出面では進化の余地が残るものの、今後はリアルタイムでの演出やカメラワーク以外の演出手法にもチャレンジしていくとのことです。

苦労して作ったコンテンツとなったが、本作は後編集での自由度の高さやスローテンポな曲調との相性の良さなどが撮影監督から非常に高く評価されたという

Volumetric Captureの今後

増田氏は講演のまとめとして、Volumetric Capture技術は「リアルをバーチャルに持ってくる技術」であると述べ、3DCGやゲームエンジンとの組み合わせた新たな表現が可能になると語っています。

発展途上の技術のため課題は多いものの、日々の改善と今後の進化次第で更に新しい表現の手法が誕生する可能性が大きいとしています。

また、今後の展望として、清澄白河ベースの新スタジオでバーチャルプロダクションスタジオともに最先端の技術を使い、新しい表現にトライしていきたいとして締めました。

講演後の質疑応答ではVolumetricの出力フォーマットについての質問がなされた。現在はAlembic(モデル)+MOV(テクスチャ)、もしくはシーケンシャルOBJ(モデル)+シーケンシャルテクスチャでの出力となっているという

スポーツ界に変革を起こした、リアルタイムトラッキングとCGによる可視化

2部ではソニー株式会社のイメージングプロダクツ&ソリューションズ事業本部 システム・ソフトウェア技術センター ソフトウエア技術第3部門 イメージングクラウド開発1部2課統括課長である服部 博憲氏が登壇し、スポーツのルールすら変えるリアルタイムトラッキング技術とその活用例、そしてこれからの挑戦について語りました。

はじめに、ソニーのグループ会社である「Hawk-Eye Innovations」と同社が提供するサービス「Hawk-Eye」の紹介が行われました。

Hawk-Eyeは現在スポーツの試合で使用されている審判補助システムであり、画像処理とCG表現によって、ボールのイン・アウトなどを始めたとした判定の支援をリアルタイムに行うテクノロジーです。

ソニーグループはHawk-Eyeを通じてスポーツ分野に対し、より公平に(Fairer)、安全に(Safer)、魅力的に(Engaging)、分かりやすく(Informed)といったアプローチを行っており、現在世界90カ国、年間20,000以上のスポーツ試合このサービスを提供しています。

テニス分野においてはライン判定システム”ELC:Electronic Line Calling”が国際テニス連盟の基準にも合格し、「チャレンジシステム」としてルールへ導入

Hawk-Eyeはサッカーのゴール判定システム”GLC:Goal Line Technology”として世界中のサッカーリーグ、サッカー連盟でも公式採用されている

また、そこから進化したシステムとして「Hawk-Eye Live」も紹介されています。これはCOVID-19の影響による線審の削減対策として導入されたシステムです。テニスでの「チャレンジシステム」を廃止し、「Hawk-Eye Live」による自動判定とチェアアンパイアにより審判を行う取り組みです。

Hawk-Eye Live」により、線審(ライン・ジャッジ)がいなくても試合の運営ができるようなった

これらのシステムを支えているコア技術として、以下の3つが挙げられています。

  • ボールや選手の動きをリアルタイムに解析する技術
  • ボールなどの3次元軌道を解析しCGで再現し、試合進行や判定を支援する技術
  • 得られた統計データをリプレイ映像などを重ね合わせ可視化する技術

選手の骨格やボールの動きもトラッキングする技術「SkeleTRACK」

これらのコア技術を応用した新たな試みとして、「SkeleTRACKが紹介されました。

SkeleTRACK」は選手やボールの動きをより高精度・リアルタイムにトラッキングする技術です。これはフィールドを取り囲むように配置したカメラの映像解析から、ボールだけでなく選手の骨格もリアルタイムにトラッキングします。

SkeleTRACK」の概要。例としてサッカーではフィールドに設置された8台のカメラを使い試合を撮影。複数の方向から撮影することで選手の骨格やボールなどの情報を三次元的に推定することができる

野球の投球シーンにおいては、動画とあわせてピッチャーのリリースポイントからバッターボックスまでの軌道やボールの回転の様子を1球ごとに時々刻々と取得することができるため、選手のパフォーマンスの分析やフィードバックなどに活用されています。

トラッキングした試合内容を3DCGによって再現する技術「HawkVISION」

続いて、現在開発を進めている技術として、これらのシステムで高精度にトラッキングした試合内容を3DCGによって再現・可視化する技術「HawkVISION」が紹介されました。

HawkVISIONSkeleTRACKなどでトラッキングした骨格データにCGモデルを被せることで試合の流れを再現する技術です。

選手や審判などさまざまな視点から試合を楽しんだり、検証したりすることができる他、メタバースへでの活用も視野に入れているとのこと

SkeleTRACKとHawkVISIONの処理の流れ。現実からキャプチャすることによって、試合の流れや迫力を詳細に再現できる

リアルタイムのトラッキングと可視化が生み出す新たな価値

また、SkeleTRACKとHawkVISIONの技術は、「メディア」「審判判定」「パフォーマンスの分析」だけにとどまらず、ゲームなどのエンタテインメント分野において「新しいエンタメコンテンツ体験」の創造ができるポテンシャルもあるのではないかと服部氏は語りました。

SkeleTRACKとHawkVISIONが持つ4つのポテンシャル

「パフォーマンス分析」を「メディア」に載せる例として、統計データでの平均と実際のプレイのボール軌道などをオーバーレイさせることにより、プレイやパフォーマンスの凄さをダイレクトに伝えられる

最後に服部氏は紹介してきたスポーツ関連技術を振り返り、これらフィジカルとバーチャルを繋ぐ技術を使ってのゲームなどへの新しいエンタテイメントへの応用やメタバースの世界への活用の可能性について述べ、講演を締めくくりました。

ソニーの先端技術紹介 ① Volumetric Production System ② 高精度・リアルタイムなトラッキング技術とCGによる可視化技術 - CEDEC2022
wvigler

アンリアルエンジンにハマり、ぷちコンでゲーム作ってた男。映像編で2連覇したことも。
昔はよくアーケードゲームとかやってました。
一番やり込んだのは「ケツイ ~絆地獄たち~」「戦国BASARAX」あたり。ローグライトゲームとかも好きです。

関連記事

シリーズ初の3Dアクション『星のカービィ ディスカバリー』におけるカービィらしさと遊びやすさ、そして現実世界との融合を目指したアートディレクション【CEDEC2022】
2022.12.28
モデラーとしてコンセプトアートと徹底的に向き合う『ELDEN RING』におけるキャラクターモデルへのアプローチ【CEDEC2022】
2022.11.30
『星のカービィ ディスカバリー』プロシージャル地形生成への取り組みから見るアーティストとエンジニア、レベルデザイナーの協力体制【CEDEC2022】
2022.11.10
『ヘブンバーンズレッド』のゲームデザイン――ADV、フィールド、バトルパートの全てにおいて「切なさ」を演出【CEDEC2022】
2022.11.09
“フル”クラウド開発の第一歩は新人研修から。バンダイナムコスタジオによるリモート環境でのゲーム開発インフラ整備【CEDEC2022】
2022.11.07 [PR]
AIによるアセット自動生成、ビルド時間の短縮――『FORSPOKEN』事例から見るマイクロソフト&Luminous Productionsの開発効率化【CEDEC2022】
2022.10.25 [PR]

注目記事ランキング

2023.05.25 - 2023.06.01
1
『フォートナイト』で動く本格的なゲームが作れるツール「UEFN」とは?従来のクリエイティブモードから進化したポイントを一挙紹介!
2
【2022年5月版】今から始めるフォートナイトの「クリエイティブ」モードープレイ開始から基本的な操作方法まで解説
3
フォートナイト上にオリジナルゲームを開発・公開できるPC専用エディタ『Unreal Editor For Fortnite(UEFN)』、ついにリリース!
4
【STEP2】UEFNの基本的な使い方を覚えよう
5
UEFNのプロジェクトにもEpic MegaGrantsが適用されることが改めてアナウンス。採択されれば、約5,000ドルから25,000ドルの資金援助
6
【STEP3】オリジナルのアスレチックコースを作ろう
7
【CHALLENGE3】UEFNの機能「ランドスケープ」を使ってオリジナルの地形を作る
8
フォートナイト クリエイティブとUEFNで使える仕掛け一覧
9
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.5「島の設定」
10
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.1「アイテム系」
11
【STEP1】「UEFN」を入手しよう
12
【STEP4-1】コース外に出たらデスする仕組みを作る
13
【STEP5-1】スタート時のカウントダウンを作る
14
【STEP4-2】リスポーンとチェックポイントの仕組みを作る
15
『Minecraft』次回大型アップデートver1.20で桜バイオームが登場予定。Java版スナップショットで一足先に体験可能
16
【CHALLENGE2-1】フレンドと一緒にゲームを作ろう――UEFNプロジェクトをチームメンバーとリアルタイムで共同編集する
17
フォートナイトとUEFNがv24.40にアップデート。クリエイターの作品が一覧表示される「クリエイターページ」が利用可能に
18
【STEP4-3】仕掛けを使って「坂を転がるボールのギミック」を組み込む
19
ゲームを開発し、フォートナイト上に公開できるPC専用エディタ『Unreal Editor For Fortnite(UEFN)』、Epic Games Storeに登場。3/23(木)リリース予定
20
まるで『マイクラ』?ボクセル地形を生み出す無料アセット「VoxelPlugin Free」で”地形を掘ったり積み重ねたり”して遊んでみよう
21
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.4「ゲームシステム系」
22
『Fortnite』クリエイティブモードで「スパイダーマン」と「ヴェノム」の世界を再現、一般参加可能のe-sports大会が開催
23
【STEP5-2】ゴールの仕組みを作る
24
【STEP6-1】「オリジナルキャラクターを登場させよう」――Fabでアセットをダウンロードしよう
25
【STEP6-4】インポートしたアセットを使ってギミックを作る
26
【STEP6-3】「オリジナルキャラクターを登場させよう」――キーボーとムラスケのメッシュをインポート
27
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.3「プレイヤー系」
28
フォートナイトがv22.30にアップデート!クリエイティブモードにて「バトルロイヤル島」が登場したほか、メモリ使用量を表示する新たなマップUIが追加
29
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.2「ユーティリティ系」
30
Epic Games、UEFNとフォートナイト クリエイティブモードを紹介したライブ配信のアーカイブを公開。制作の始め方からゲーム公開までの大まかな流れがわかる
VIEW MORE

イベントカレンダー

VIEW MORE

今日の用語

ヘッドマウントディスプレイ(HMD)
ヘッドマウントディスプレイ Head Mounted Displayの略称。頭部に装着するディスプレイ装置の総称で、ゴーグルやメガネを模した形状が多い。Meta QuestやHTC Vive、PlayStaion VRなどの没入型と、HoloLensやMagic Leapなどのシースルー型に大別される。左右の目に対してわずかに異なる映像を描画することで、視差効果を利用した立体的な表現を可能にする。
VIEW MORE

Twitterで最新情報を
チェック!