NVIDIA、「SIGGRAPH 2026」基調講演で「DLSS 5」の仕組みを解説。制作者が生成結果を調整できる機能も披露

NVIDIAは2026年7月20日（現地時間）、「SIGGRAPH 2026」の基調講演にて、AIアップスケーリング技術「DLSS」の新バージョン「DLSS 5」の技術解説を行いました。

「DLSS 5」は、NVIDIAが2026年3月、同社主催のカンファレンス「NVIDIA GTC 2026」で発表した、DLSSの最新版。提供は今秋を予定しています。

当時は詳細が公表されておらず、制作者の意図する表現に大きく手を加える趣旨の技術であることから、ゲーム開発分野においては賛否両論の声が上がっていました。

レンダリングしたフレームそのものをベースに生成

講演では、まず従来のレンダリングと生成モデルの性質について説明。

レンダリングはシーンを制作し、物理法則に基づいて光の反射を計算して、制作者が意図する箇所を映し出す手法です。一方の生成モデルは、大量の実世界データから写実的な見た目を学習していますが、規模が大きく低速なうえ、レンダリングのように狙った通りには制御できません。

「DLSS 5」は、両者を組み合わせる設計を採っています。レンダラーはこれまで通りゲームが制作したシーンを構築しつつ、その後段に生成モデルを置く構成です。 

生成モデルの問題の一つとして、同じ指示を与えても毎回異なる描写が出力されることが挙げられました。生成の分野では、テキストプロンプトや参照画像などを「条件」としてモデルに与え、出力をそれに沿わせる手法が使われていますが、いずれもモデルが自由に埋める余地を残します。

リアルタイムレンダリングでは、生成された結果がそのまま次のフレームとして表示されるため、より制約の強い条件が必要になると語られます。

そこで「DLSS 5」が生成の条件に使っているのが、ゲームがレンダリングしたフレームそのもの。数語のプロンプトと違い、画素ごとに情報を持ち、ピクセル単位で現在の画面と一致します。

そのためキャラクターの同一性、ライティング、カメラの構図といった要素の裏付けになるとしています。

（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

3つの技術課題と対策

実装には3つの課題があったと語られています。

1つ目は、アーティストの意図を保持すること。生成モデルは画像を変えることが役割であるため、変更のたびに元の意図から離れる可能性があります。

講演では、キャラクターの傷を生成モデルが消してしまう例が挙げられました。「DLSS 5」では、アルベドやサーフェスノーマル、ライティングの情報といった、レンダラーが内部で持つデータをモデルに与えています。これら情報は、モデルが変えてはいけない構造を把握するために使われます。

（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

2つ目は、フレーム単位での生成です。動画生成モデルの多くは、複数フレームをまとめて処理することで映像のつながりを保っています。しかしリアルタイムレンダリングでは、ユーザーの入力に即座に反応して1フレームずつ表示しなければならず、この作り方が使えません。

「DLSS 5」では、ゲームエンジンから得られるモーションベクトル（※）を利用することで、フレーム間の動きをモデルに直接伝達。未来のフレームを予想する、といったことをせずに時間的な安定性を保てるため、描画のちらつきも防げるようにしたとしています。

※　直前のフレームと現在のフレームを比べ、ピクセルがどの方向にどれだけ移動したかを保持するデータ

3つ目は処理速度です。4K解像度（約830万ピクセル）で60fpsを超える描画では、1フレームあたりの時間が16ミリ秒未満。

フォトリアルな見た目を生成する基盤モデルは、大きく低速です。拡散モデルは一般的に、ノイズを少しずつ取り除く工程を何十回も繰り返して画像を作りますが、この反復はリアルタイムでは不向き。NVIDIAはこれを蒸留し、1回の推論で結果を出す小型の拡散モデルへと圧縮しました。

基盤モデルが持つ画像の理解力は受け継いだ一方、汎用性は失われており、リアルタイムレンダリングをフォトリアル化する用途に特化しています。

（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

モデル・強度・マスクの3系統で制作者が制御

レンダリングしたフレームを元にするという条件付けは、制御の1つにすぎないとも説明されました。1枚のフレームに対して「よりフォトリアルな絵」は一意に決まらず、最終的な見栄えは制作者が決めるべきだとしています。

生成の結果を制御する機能も「DLSS 5」に搭載されており、講演ではデモとして紹介。まず、「DLSS 5」には学習パラメータの異なる複数のモデル（Model A・B・C）が用意されており、出力の傾向がそれぞれ異なります。これらモデルはシーンごとに使い分けられるとのこと。

全体に効く制御としては、フレームの高周波成分を調整する「Structure Intensity」と、低周波成分を調整する「Tone Intensity」の2つがあります。前者はアンビエントオクルージョンやサブサーフェススキャタリング、反射といった要素の付加に、後者はライティングや色味の変化に対応します。

（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

適用範囲を絞るマスクは2系統が示されました。

ひとつはモデル側による自動マスクです。モデルがフレーム内のキャラクターを認識するため、キャラクターだけに強度を設定したり、背景をオフにしてキャラクターにのみ適用したりできます。

もうひとつはエンジン側で用意するマスクで、任意のオブジェクトを対象として設定し、それぞれを調整できます。マスクは複数作成でき、グループ化も可能です。

（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

制御機能は今後も追加していく予定としています。パートナーからのフィードバックを取り込みながら、アーティストやアートディレクターが自身のビジョンを最終フレームに反映するためのツールにしていきたい、との考えが示されました。

「再構成」「関数近似」に続くカテゴリ「生成」

基調講演では、ゲームにおけるAI活用を3つに分類。

1つ目は再構成（Reconstruction）で、DLSSのSuper Resolution、Ray Reconstruction、Frame Generationが該当します。

2つ目は「関数近似（Function Approximation）」で、Neural Radiance CacheやNeural Materialsのように、小さなニューラルネットワークで高コストな計算を近似するものです。

「DLSS 5」が加えるのは、3つ目の「生成（Generation）」です。

従来の2つと違うのは、目指すべき「正解の絵」が存在しない点。再構成には「計算資源が無限にあれば得られたはずの完璧な絵」という到達目標がありますが、生成はレンダリングでは作れない見た目を作り出すため、比べるべき正解がありません。何を正解とするかは、制作者のアートディレクションが決めることになる、と説明されています。

先に説明した制御機能が必要なのも、この「正解の不在」が理由です。

 「DLSS 5」は「Generation」の枠に「3D-Guided Neural Rendering」（3Dのレンダリング結果に導かれたニューラルレンダリング）として位置づけられている（画像は「NVIDIA Keynote Live at SIGGRAPH 2026」のスクリーンショット） 

これにより、画質を上げるための手段が増えるとしています。従来はレイの本数やテクスチャ解像度、ポリゴン数といったレンダリング側の増強が画質向上の手段であり、それは今後も有効です。

加えて「DLSS 5」では、モデルを大きくすることでも写実性が向上する手段が生まれるとのこと。さらに、モデルのサイズを変えなくても、学習データや損失関数といったオフラインの学習側の改善が、実行時の追加コストなしに画質へ反映されるとしています。

一方で、リアルタイムのフォトリアル表現が完成したわけではないとも述べられました。現時点では、見た目ほどにはアニメーションの質が上がらないといいます。

登壇者は「DLSS 5」を、既存のレンダリングパイプラインを置き換えるものではなく拡張するものだと位置づけ。AIがグラフィックスに取って代わるのではなく、プログラマブルシェーダーやレイトレーシングがそうであったようにグラフィックスを広げるものだと総括しました。

このほか基調講演では、AI Physicsやワールドモデルの話題も扱われています。

詳細は、動画「NVIDIA Keynote Live at SIGGRAPH 2026」をご確認ください。