この記事の3行まとめ
- NVIDIA、ゲームプレイをアシストするAI機能「Project G-Assist」を発表
- プレイヤーのテキストや音声のほか、ゲーム画面に応じて回答してくれる
- フレームレートなどをチェックし、パフォーマンスの改善提案なども行ってくれる
NVIDIAは2024年6月2日（現地時間）、ゲームプレイのアシスト機能である「Project G-Assist」を発表しました。
「Project G-Assist」は、ゲームの内容やパフォーマンス設定などの質問に答えるAIアシスタント機能です。
プレイヤーが入力したテキストや音声、ゲーム画面のスナップショットといったコンテキスト情報を取得し、Wikiなどのデータベースに接続されている大規模言語モデルを用いて、状況に応じた回答を提供します。
また、ゲームのフレームレートやPCの電力使用量、レイテンシーなどのパフォーマンスをチェックし、改善方法を提案するといったことも行えます。
（画像は「Project G-Assist」ニュースリリースより引用）
さらに、『ARK: Survival Ascended』と『サイバーパンク2077』を使って本機能を紹介する動画が、YouTubeにて公開されています。
「Project G-Assist」紹介動画
動画では、『ARK: Survival Ascended』で恐竜をテイムする方法やゲーム序盤で最適な武器などを質問し、それに対してAIが回答しています。また、『サイバーパンク2077』でのパフォーマンス設定に関するアドバイスもしています。
ゲーム画面上の恐竜をテイムする方法を聞くと、AIアシスタントが回答している（画像は「Project G-Assist」ニュースリリースより引用）
直近60秒におけるPCのレイテンシーを表示している様子（画像は「Project G-Assist」ニュースリリースより引用）
NVIDIAはほかにも、MOD開発ツールキット「RTX Remix Toolkit」のオープンソース化、AIによってWebブラウザ上の動画をアップスケールする「NVIDIA RTX Video」のSDK提供といった、AIに関する発表を行っています。
「Project G-Assist」についてはこちらを、そのほかのAIにかかわる発表についてはプレスリリースをご確認ください。
「Project G-Assist」ニュースリリースプレスリリース
以下、プレスリリースからの引用です。
Project G-Assist、デジタル ヒューマン向け NVIDIA ACE NIM、生成 AI ツールにより、RTX ノート PC で高度な AI 体験を実現。さらに、小規模言語モデル向けの RTX アクセラレーテッド API が Windows Copilot Runtime に登場
台湾、台北 — COMPUTEX — 2024 年 6 月 2 日 — NVIDIA は本日、新しい GeForce RTX™（https://www.nvidia.com/ja-jp/geforce/rtx/） AI ノート PC 上で動作する、AI アシスタントとデジタル ヒューマンを強化するための新しい NVIDIA RTX™ （https://www.nvidia.com/ja-jp/design-visualization/technologies/rtx/）テクノロジを発表しました。
NVIDIA は今回、PC ゲームやアプリにコンテキストを認識した支援を提供する RTX 搭載 AI アシスタント テクノロジ デモである Project G-Assist を初めて公開しました。Project G-Assist テクノロジ デモは、Studio Wildcard の『ARK: Survival Ascended』でデビューしました。NVIDIA はまた、NVIDIA ACE（https://developer.nvidia.com/ace） デジタル ヒューマン プラットフォーム向けの初の PC ベースの NVIDIA NIM™ 推論マイクロサービスも公開しました。
これらのテクノロジは、開発者が Windows PC 上で大規模な生成 AI モデルを最適化および展開するのに役立つ新しいツールと SDK のスイートである NVIDIA RTX AI Toolkit（https://developer.nvidia.com/rtx/ai-toolkit） によって実現されます。これらは、500 を超える PC アプリケーションとゲーム、および 200 の OEM ノート PC を高速化する NVIDIA のフルスタック RTX AI イノベーションに加わるものです。
さらに、ASUS と MSI が新たに発表した RTX AI ノート PC には、最大で GeForce RTX 4070 GPU と、Windows 11 AI PC 機能を備えた電力効率の高いシステム オン チップが搭載されています。
NVIDIA のコンシューマー AI 担当バイス プレジデントのジェイソン ポール (Jason Paul) は次のように述べました。「NVIDIA は、2018 年に RTX Tensor コア GPU と DLSS テクノロジをリリースし、AI PC の時代を切り開きました。現在、Project G-Assist と NVIDIA ACE により、1 億人を超える RTX AI PC ユーザーに AI を活用した次世代の体験を提供しています」
GeForce AI アシスタントの Project G-Assist
AI アシスタントは、ゲーミング戦略の提供やマルチプレイヤー リプレイの分析から、複雑なクリエイティブ ワークフローの支援まで、ゲームやアプリ内の体験を変革します。Project G-Assist は、この未来を垣間見ることができます。
PC ゲームには、探索できる広大な世界と習得すべき複雑なメカニズムがあり、これらは熱心なゲーマーにとっても手間がかかる困難な作業です。Project G-Assist は、生成 AI を使用して、ゲーム知識をプレイヤーにわかりやすく届けることを目指しています。
Project G-Assist は、プレイヤーからの音声またはテキスト入力とゲーム画面からのコンテキスト情報を取得し、そのデータを AI ビジョン モデルに渡します。これらのモデルは、ゲーム知識データベースにリンクされた大規模言語モデル (LLM) のコンテキスト認識とアプリ固有の理解を強化し、テキストまたは音声で配信されるカスタマイズされた応答を生成します。
NVIDIA は Studio Wildcard と提携して、『ARK: Survival Ascended』でこのテクノロジのデモを行いました。Project G-Assist は、クリーチャー、アイテム、伝承、目的、難しいボスなどに関する質問に答えるのに役立ちます。Project G-Assist はコンテキストを認識するため、プレイヤーのゲーム セッションに合わせて回答をパーソナライズします。
さらに、Project G-Assist は、プレイヤーのゲーム システムを最適なパフォーマンスと効率となるように構成できます。パフォーマンス メトリックに関する洞察を提供し、ユーザーのハードウェアに応じてグラフィックス設定を最適化し、安全なオーバークロックを適用し、パフォーマンス目標を維持しながら電力消費を賢く削減することもできます。
最初の ACE PC NIM がデビュー
デジタル ヒューマンを強化する NVIDIA ACE テクノロジが、NVIDIA NIM を搭載した RTX AI PC およびワークステーションに登場します。NVIDIA NIM は、開発者が展開にかかる時間を数週間から数分に短縮できるようにする推論マイクロサービスです。ACE NIM は、自然言語理解、音声合成、ファイシャル アニメーションなどのために、デバイス上でローカルに実行される高品質の推論を提供します。
COMPUTEX では、Inworld AI と共同で開発された Covert Protocol 技術デモ（https://www.nvidia.com/ja-jp/about-nvidia/press-releases/2024/nvidia-digital-human-technologies-bring-ai-characters-to-life/）で、PC での NVIDIA ACE NIM のゲーミング デビューが紹介されます。このデモでは、デバイス上でローカルに実行される NVIDIA Audio2Face™ (https://www.nvidia.com/ja-jp/ai-data-science/audio2face/)とNVIDIA Riva (https://developer.nvidia.com/riva）自動音声認識が披露されます。
Windows Copilot Runtime がローカル PC SLM に GPU アクセラレーションを追加
Microsoft と NVIDIA は、開発者が Windows ネイティブ アプリと ウェブ アプリに新しい生成 AI 機能を導入できるよう協業しています。この協業により、アプリケーション開発者は、Windows Copilot Runtime によってデバイス上で実行される GPU アクセラレーテッドの小規模言語モデル (SLM) とRetrieval-Augmented Generation (RAG) 機能にアプリケーション プログラミング インターフェイス (API) から簡単にアクセス可能になります。
SLM は、コンテンツの要約、コンテンツの生成、タスクの自動化など、Windows 開発者に多大な可能性を提供します。RAG 機能は、基本モデルでは十分に表現されていないドメイン固有の情報に AI モデルがアクセスできるようにすることで、SLM を強化します。RAG API を使用すると、開発者はアプリケーション固有のデータ ソースを活用し、SLM の動作と機能をアプリケーションのニーズに合わせて調整できます。
これらの AI 機能は、NVIDIA RTX GPU や他のハードウェア ベンダーの AI アクセラレータによって高速化され、エンド ユーザーに Windows エコシステム全体にわたって高速で応答性の高い AI 体験を提供します。
API は、今年後半に開発者プレビューとしてリリースされる予定です。
RTX AI ツールキットで 4 倍高速、3 倍小型のモデルを実現
AI エコシステムでは、アプリ開発者が活用できるオープンソース モデルが何十万も構築されていますが、ほとんどのモデルは一般的な用途向けに事前トレーニングされており、データセンターで実行するように構築されています。
開発者が PC で実行されるアプリケーション固有の AI モデルを構築できるように、NVIDIA はRTX AI PC でのモデルのカスタマイズ、最適化、展開のためのツールと SDK のスイートである RTX AI Toolkit（https://developer.nvidia.com/blog/streamline-ai-powered-app-development-with-nvidia-rtx-ai-toolkit-for-windows-rtx-pcs/）を導入します。RTX AI ツールキットは 6 月にリリースされ、より幅広い開発者がアクセスできるようになります。
開発者は、オープンソースの QLoRa ツールを使用して事前トレーニング済みモデルをカスタマイズできます。次に、NVIDIA TensorRT ™ （https://developer.nvidia.com/tensorrt）モデル オプティマイザーを使用してモデルを量子化し、RAM の消費量を最大 3 分の 1 に抑えることができます。その後、NVIDIA TensorRT Cloud がモデルを最適化して、RTX GPU ラインアップ全体で最高のパフォーマンスを実現します。その結果、事前トレーニング済みモデルと比較して最大 4 倍のパフォーマンスを実現します。
現在早期アクセスで利用可能な NVIDIA AI Inference Manager (AIM) （https://developer.nvidia.com/rtx/ai-inference-manager）ソフトウェア開発キット (SDK) は、PC とクラウド間で AI 推論をシームレスに編成することで、PC アプリケーション開発者の AI 統合の複雑さを簡素化します。また、統一された NIM 形式で必要な AI モデル、エンジン、依存関係を PC に事前構成し、GPU、NPU、CPU などのさまざまなプロセッサで TensorRT、DirectML、Llama.cpp、PyTorch-CUDA など、すべての主要な推論バックエンドをサポートします。
Adobe、Blackmagic Design、Topaz などのソフトウェア パートナーは、RTX PC での AI パフォーマンスを加速するために、人気のクリエイティブ アプリに RTX AI Toolkit のコンポーネントを統合しています。
Adobe の Creative Cloud 製品マーケティング担当バイス プレジデントである Deepa Subramaniam 氏は次のように述べています。「Adobe と NVIDIA は、ビデオからイメージング、デザイン、3D など、すべてのクリエイティブ ワークフローで画期的な顧客体験を提供するために引き続き協業していきます。RTX PC 上の TensorRT 10.0 は、クリエイター、デザイナー、開発者に前例のないパフォーマンスと AI を活用した機能を提供し、Photoshop などの業界をリードするクリエイティブ ツールでのコンテンツ制作に新たな創造的可能性をもたらします」
RTX AI ツールキットのコンポーネント (TensorRT-LLM など) は、Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga、Sanctum.AI など、生成 AI 向けの人気の開発者フレームワークやアプリケーションに統合されています。
コンテンツ制作のための AI
NVIDIA はさらに、クリエイター、MOD制作者、ビデオ愛好家向けのアプリにも RTX AI アクセラレーションを統合しています。
昨年、NVIDIA は、最も人気のある Stable Diffusion ユーザー インターフェイスの 1 つである Automatic1111 向けに、TensorRT を使用した RTX アクセラレーションを導入しました。今週から、RTX は人気の高い ComfyUI も高速化し、現在リリースされているバージョンと比較してパフォーマンスが最大 60% 向上し、MacBook Pro M3 Max と比較すると 7 倍高速になります。
NVIDIA RTX Remix （https://www.nvidia.com/ja-jp/geforce/rtx-remix/）は、フル レイトレーシング、NVIDIA DLSS 3.5、物理的に正確なマテリアルを使用して、クラシックな DirectX 8 および DirectX 9 ゲームをリマスターするための MOD 制作プラットフォームです。RTX Remix には、ランタイム レンダラーと、ゲーム アセットとマテリアルの MOD 制作を容易にする RTX Remix Toolkit アプリが含まれています。
昨年、NVIDIA は RTX Remix Runtime をオープン ソース化し、MOD 制作者がゲームの互換性を拡張し、レンダリング機能を向上できるようにしました。
今年初めに RTX Remix Toolkit がリリースされて以来、20,000 人の MOD 制作者がクラシック ゲームのMOD 制作に使用し、RTX Remix Showcase Discord で 130 を超える RTX リマスターが開発されています。
今月、NVIDIA は RTX Remix Toolkit をオープンソース化します。これにより、MOD 制作者はアセットの置き換えやシーンの再照明を効率化し、RTX Remix のアセット インジェスターでサポートされるファイル形式を増やし、新しいモデルで RTX Remix の AI テクスチャ ツールを強化できます。
さらに、NVIDIA は REST API 経由で RTX Remix Toolkit の機能にアクセスできるようにし、MOD 制作者が RTX Remix を Blender などのデジタル コンテンツ制作ツール、Hammer などのMOD 制作ツール、ComfyUI などの生成 AI アプリにライブ リンクができるようにします。NVIDIA はまた、MOD 制作者が RTX Remix のレンダラーを DirectX 8 および 9 のクラシック以外のアプリケーションやゲームに展開可能なように、RTX Remix Runtime 用の SDK も提供します。
RTX Remix プラットフォームのオープンソース化が進むにつれて、世界中の MOD 制作者はより魅力的な RTX リマスターを構築できるようになります。
Google Chrome、Microsoft Edge、Mozilla Firefox ブラウザーでサポートされている人気の AI 搭載超解像度機能である NVIDIA RTX Video （https://blogs.nvidia.com/blog/rtx-video-hdr-remix-studio-driver/）が、すべての開発者に SDK として提供されるようになりました。これにより、開発者は AI をネイティブに統合して、アップスケーリング、鮮明化、圧縮アーティファクトの削減、ハイダイナミックレンジ (HDR) 変換を行うことができます。
ビデオ編集ソフトウェア Blackmagic Design の DaVinci Resolve と Wondershare Filmora に近日登場する RTX Video により、ビデオ編集者は低品質のビデオファイルを 4K 解像度にアップスケーリングしたり、標準ダイナミックレンジのソースファイルを HDR に変換したりできるようになります。さらに、無料のメディアプレーヤー VLC media は、既存の超解像度機能に RTX Video HDR を近日中に追加する予定です。
COMPUTEX で NVIDIA （https://www.nvidia.com/ja-jp/events/computex/）に参加し、RTX AI PC とテクノロジの詳細をご確認ください。
NVIDIAについて
1993年の創業以来、NVIDIA（https://www.nvidia.com/ja-jp/） (NASDAQ: NVDA) はアクセラレーテッド コンピューティングのパイオニアです。同社が 1999 年に発明した GPU は、PC ゲーム市場の成長を促進し、コンピューター グラフィックスを再定義して、現代の AI の時代に火をつけながら、各種産業のデジタル化を後押ししています。NVIDIA は現在、業界を再形成しているデータセンター規模の製品を提供するフルスタック コンピューティング企業です。詳細は、こちらのリンクから：https://nvidianews.nvidia.com/
