ソニーの最新技術が展示された「STEF」
ソニーが社内プロジェクトを外部に示す場として半世紀以上続けてきた展示イベント、「STEF」。今週行われたSTEF 2025では、社内の技術と取り組みを対内外に共有する場として、2022年度以来2度目のメディア公開が行われました。
5つのテーマに沿った展示エリアを見学
今回は5つのテーマが設定されていましたので、それぞれ順を追って体験レポートをお届けします。
①Feel So Music
音楽を、聴くだけでなく触れる体験へと拡張し、誰もが楽しめるインクルーシブな音楽体験を実現する技術
②Sensory Re:Fusion for LBE
映像・音・振動・風・においの技術群を統合した、Location Based Entertainment体験の展示
③「XYN(ジン)」空間コンテンツ制作ソリューションと関連技術
空間コンテンツ制作ソリューション「XYN」の紹介に加え、開発中の関連技術を公開
④4D Capture Technology
シングルカメラとセンシングデバイスにより、写実的な4Dキャプチャー(動きのある3Dモデル撮影)が手軽に実現できる技術
⑤エンタテインメント向け群ロボット
音楽ライブやLocation Based Entertainment などのエンタテインメント体験の演出をサポートする技術
Feel So Musicーー没入感のあるライブ体験のための触覚提示デバイス展示
「Feel So Music」では、首掛け型のウェアラブル触覚提示デバイスを用いたライブ体験が展示されていました。
デバイスは左右2点ずつ、合計4点の振動素子と風が出る仕組みが組み込まれた肩掛け式のもので、20Hz以下の低周波を振動として胸部(鎖骨の下あたり)に与えることで、あたかも音楽ライブで大型スピーカーの前にいる感覚が味わえるという内容。
また、デバイス装着者をカメラで撮影し、リアルタイムで変調、エフェクトによる演出が行われる仕組みも同時に体験でき、聴覚と触覚だけでなく、視覚も含めたクロスモーダルな体験になっていました。特にユニークなのが、バータイプのデバイスから風が出て、さらに振動による風圧も感じられる点で、音楽に合わせて風が吹くことでより体験が深まる印象を受けました。
可聴周波数帯域以下の帯域を振動として体験する類似研究は多くありますが、映像表現のほか、鎖骨や喉など振動の影響を受けやすい胸部を狙う点や、ノイズなく風を出す仕組みがセットになっている点が特徴的でした。
Sensory Re:Fusion for LBEーーセンサー全部盛りのインタラクティブデモ
「Sensory Re:Fusion for LBE」では、ロケーションベースでの体験型コンテンツを想定されたインタラクティブデモが体験できました。
基本的な仕組みはプロジェクションマッピングによる4面(壁3面、床1面)の作品展示ですが、床面には振動素子が組み込まれており、歩いた時に床面の素材によって異なるフィードバックがあります。
「氷」であれば、踏み締めた時に氷が割れるビジュアルとともにザリザリとした触覚フィードバックがあり、「水」であればスプラッシュのビジュアル演出とともに異なる触覚フィードバックを楽しむことができます。
水に濡れた床を歩くと、水しぶきの演出とともに足元から振動によるフィードバックが。このほか、氷の床を歩いた際は氷が割れる演出も見られた
インタラクションについては、こちらも振動素子の組み込まれた専用コントローラーが用意されており、ボタンを押すことで水を噴射して壁面の汚れを落としていくといった体験が楽しめました。
また、汚れを落とした対象に応じたインタラクションも用意されており、特徴的だったのは「りんごの木」からは甘い香りがし、「焚き火」からは香ばしい香りがしたこと。香りを含んだ風は、左右と正面の3系統のデバイスから出力されており、参加者の場所によって香りが異なるという状況を作ることも可能となっていました。
りんごの木や雪だるま、焚き火などさまざまなオブジェクトに対してインタラクションが可能
香り成分は壁上部のデバイスから風とともに出力されていた。左右で香りが混ざらないようにするためか、やや薄めな印象を受けた
天井の送出機群。写真中央にある黒い筒状のデバイスから香りが出ているとのこと
XYNーー空間コンテンツ制作ソリューションと関連技術
XYN(ジン)はソニーグループによる「空間コンテンツ/3DCG制作支援をするソリューション群」で、モーション制作の統合アプリケーション「XYN Motion Studio」や「XYN 空間キャプチャーソリューション(開発中)」がラインナップされています。
発売と同時に話題となったモバイルモーションキャプチャ「mocopi」も、XYNのソリューションと位置付けられています。
空間キャプチャーした背景の木々を疑似的に揺らす技術デモ
展示内容は「XYN Motion Studio」や「XYN 空間キャプチャーソリューション」などをはじめとする、空間コンテンツ制作の関連技術。
高品位なフォトグラメトリシステムによるバイクを撮影したデモ展示や、バーチャルプロダクション向けの背景制作向け撮影アプリケーション「XYN Spatial Scan Navi Beta」を用いた背景素材とマーカーを使ったバーチャルカメラ展示のほか、初公開の技術として、どうしても静止画になってしまうバーチャル背景に対して「風による揺らぎ」を与える技術や「バーチャルプロダクション用の背景データの一部分を消去できる」などといった編集機能も公表されました。
「渋谷のスクランブル交差点から電柱を消したい」などの操作が可能に。オブジェクトをひとつずつ選択するのではなく、Text to Editで一括消去もできる様子。編集ソフトウェアは開発段階だが、実現されればワークフローに影響を与えうる内容だ
時間の都合で体験できなかったが、他にも任意の背景に演者の3Dモデルを自由に配置できるロケハン用システムも展示されていた
4D Capture Technologyーーシングルカメラで動きと形状をリアルに撮影
「4D Capture Technology」はシングルカメラとLiDARセンシングデバイスを組み合わせて、動きのある3Dモデルが制作できるという技術。被写体の形状と動きを多視点ではなくシングルカメラでボリュメトリックキャプチャし、時間変化を含んだ4Dモデルとして映像制作やAR/VRなどのコンテンツ制作に活用するというもの。
デモでは実際に撮影されたデータを用いた映像制作事例の紹介と、α9とソニー内製のLiDARデバイスを組み合わせた実機の展示が行われていました。
シングルカメラでボリュメトリックキャプチャが可能な点がユニーク。上部はα9で、下部のLiDARセンサーもソニー内製で開発されているとのこと
エンタテインメント向け群ロボットーーライブをサポートする自立型の演出装置がもうすぐ実用化
最後の展示エリアでは、ピラー型のLEDや大型スクリーンなどが自立して動くライブ演出が技術展示されていました。キャラクターが描画されたディスプレイが移動や回転を行い、さらにその周りをピラー型のLEDが周回するような演出となっていました。
イメージはお掃除ロボットにLEDが乗っているモノに近い。自己位置を推定し、床に貼られたマーカーを検知しながら誤差を補正して進んでいく
コントローラーでも駆動可能。滑り出しからスムーズに動いているように見えた
具体的には自己位置推定を行うロボットの上にLEDスクリーンやムービングライトが乗って移動するという形式で、重さとバランスさえ問題なければどのような機材でも積載可能とのこと。移動コントロールはBlenderのタイムラインにキーフレームを打つかたちで制御されており、エクスポートされたデータ(おそらくglTF形式)を専用の制御ソフトウェアを介して動作させている様子でした。
このロボットたちは12月以降、有観客の音楽ライブでも活用予定とのこと。これまでの展示に先立ち、思ったよりもすぐに社会実装が広がっていくかもしれません。
ソニーグループの最新技術をしっかりと体験できた1時間
メディアの見学時間は約1時間と限られた時間での取材となりましたが、とてもすべては見切れないほどのボリュームのある内容となっていました。
ゲーム開発の文脈においては、短期的にはXYNソリューションによるフォトグラメトリなど開発支援ツールをワークフロー内で活用していくかたちが想定されますが、中長期的には触覚に加えて嗅覚を含めた五感統合型の体験が登場するはずで、視覚や聴覚、触覚以外の要素をゲームデザインに取り入れる動きも出てくるかもしれません。
会場内にはこの5テーマ以外にも数多くの展示がありましたが、ハードウェア・ソフトウェア両面での開発が可能なソニーグループの新技術の片鱗に触れるとともに、エンタテインメントの少し先の未来を多面的に感じられる場となっていました。
ソニーグループポータル
ゲームメーカーズ編集長およびNINE GATES STUDIO代表。ライター/編集者として数多くのWEBメディアに携わり、インタビューや作品メイキング解説、その他技術的な記事を手掛けてきた。ゲーム業界ではコンポーザー/サウンドデザイナーとしても活動中。
ドラクエFFテイルズはもちろん、黄金の太陽やヴァルキリープロファイルなど往年のJ-RPG文化と、その文脈を受け継ぐ作品が好き。