この記事の3行まとめ
- NVIDIAが、AIマイクロサービススイート「NVIDIA Avatar Cloud Engine」の新たなデモ映像を公開
- 「NVIDIA Avatar Cloud Engine」ではプロジェクトにさまざまなAIマイクロサービスを組み合わせた使用が可能になる
- 新たなデモ映像ではConvaiのリリースによって空間認識やNPC同士の会話が可能になっている
NVIDIAは2024年1月8日（現地時間）、「NVIDIA Avatar Cloud Engine（以下、NVIDIA ACE）」の新たなデモを発表しました。
YouTube動画『NVIDIA ACE Brings Digital Characters to Life with Generative AI ft. Convai』。今回公開されたデモ映像
NVIDIA ACEは、A2F（※1）やRiva ASR（※2）などの AI モデルの取得からゲームやアプリケーションでのデジタルアバター実装までを可能にします。NVIDIA ACEのAIモデルはクラウド上またはローカルPC上で動作する設計になっています。
具体的には、生成AI技術によってインタラクティブな対応ができるNPCなどのデジタルアバターの実装などができます。
※1 NVIDIA Omniverse Audio2Face。音声ソースからリップシンクなどの表情アニメーションを生成する
※2 NVIDIA Riva 自動音声認識。自動音声認識、音声合成、ニューラル機械翻訳などが可能な多言語音声および翻訳AIソフトウェア開発キット
NVIDIA ACEでは、A2F、Riva ASR以外にもNVIDIA Live Portrait、NVIDIA Voice Font、NVIDIA NeMoなどのAIモデルが用意されていますが、現在使用できるのはA2FとRiva ASRとのこと。
早期アクセスの申し込みは、専用ページより可能です。
NVIDIA ACEを使ったパイプライン（画像はニュースリリースより引用）
このデモでは、Convaiのリリースによって空間認識やNPC同士の会話が可能になっている他、NVIDIA ACEを使用したことにより、ゲームキャラクターの口パクやセリフの表現力の向上、プレイヤーの声の正確な音声認識が低遅延で可能となっています。
詳しい情報は、ニュースリリースやプレスリリースをご確認ください。
ニュースリリースNVIDIA Developer『NVIDIA ACE』プレスリリース
以下、プレスリリースからの引用です。
ラスベガス—CES—2024 年 1月 8 日 — NVIDIA は本日、ゲーム、ツール、ミドルウェアの開発者が最先端の生成 AI モデルをゲームやアプリケーションのデジタル アバターへ統合可能にする NVIDIA Avatar Cloud Engine (ACE)（https://developer.nvidia.com/ace） のプロダクション マイクロサービスを発表しました。
新しい ACE マイクロサービスにより、開発者はオーディオ ソースから表情豊かなフェイシャル アニメーションを作成する NVIDIA Omniverse Audio2Face (A2F)（https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/） や、生成AIを使用してカスタマイズ可能な多言語音声および翻訳アプリケーションを構築するための NVIDIA Riva 自動音声認識 (ASR) などの AI モデルを使用して、インタラクティブなアバターを構築できるようになります。
ACE を採用している開発者には Charisma.AI（https://charisma.ai/）、Convai（https://www.convai.com/）、Inworld（https://inworld.ai/）、miHoYo（https://www.mihoyo.com/en/）、NetEase Games（https://www.neteasegames.com/）、OurPalm（https://english.ourpalm.com/）、Tencent（https://www.tencent.com/）、Ubisoft（https://www.ubisoft.com/en-us/）、UneeQ（https://www.digitalhumans.com/）などがあります。
「生成 AI テクノロジは、私たちが行うすべてのことを変革しています。これには、ゲーム制作やゲームプレイも含まれます」と語るのは、NVIDIA の開発者リレーションズ担当バイス プレジデントである飯田慶太です。「NVIDIA ACE は、ゲーム開発者の世界に本物そっくりのデジタル キャラクターを登場させることで、事前にスクリプト化された対話の必要性を排除し、より優れたゲームへの没入感を提供し、ゲーム開発者に新たな可能性をもたらします」
主要なゲームおよびインタラクティブ アバター開発者が NVIDIA ACE を採用
主要なゲームやインタラクティブ アバターの開発者は、ACE および生成 AI テクノロジを使用して、ゲームやアプリケーションにおけるプレイヤーとノンプレイアブル キャラクター (NPC) の間のインタラクションを変革する先駆的な方法を開拓しています。
NetEaseのシニアバイスプレジデントであり、LeiHuoビジネスグループの責任者であるZhipeng Hu氏は、次のように述べています。「NVIDIAは、長年にわたってゲーム テクノロジの先導者であり、ゲームを制作するための新しい革新的な方法を提供してきました。NVIDIAは、ゲームAIテクノロジの採用を通じて、ゲームをよりインテリジェントでプレイしやすいものにし、その結果、より没入感のある体験を生み出しています。」
「これはゲームにおける AI にとって画期的な瞬間です」と、Tencent Games の担当者は語ります。「NVIDIA ACE と Tencent Games は、個性的でリアルな性格とインタラクションを備えたデジタル アバターを、ビデオ ゲームにもたらす基盤を構築することを後押しします」
NVIDIA ACE がゲーム キャラクターに命を吹き込む
NPC はこれまで、あらかじめ決められた応答とフェイシャル アニメーションでデザインされてきました。これにより、プレイヤーのインタラクションが制限され、事務的で短時間になりがちで、その結果、大多数のプレイヤーにスキップされていました。
Convai の創設者兼 CEO の Purnendu Mukherjee 氏は、「仮想世界における生成 AI を活用したキャラクターは、これまで不可能だったさまざまなユースケースや体験を可能にしまる」と述べています。「Convai は Riva ASR と A2F を活用して、低遅延の応答時間と忠実度の高い自然なアニメーションを備えた本物のような NPC を実現しています」
ACE が NPC とのインタラクションをどのように変革できるかを示すために、NVIDIA は Convai（https://www.convai.com/） と協力して、Computex で初披露された NVIDIA Kairos デモを拡張し、多くの新機能と ACE マイクロサービスを搭載しました。
Kairos の最新バージョンでは、Riva ASR と A2F が広範囲に使用され、NPC の対話性が向上しています。Convai の新しいフレームワークにより、NPC 同士が会話できるようになり、オブジェクトを認識できるようになり、アイテムを拾って目的のエリアに届けることができるようになりました。さらに、NPC はプレイヤーを目的に導き、ワールドを横断する能力を獲得します。
現在 Audio2Face および Riva 自動音声認識マイクロサービスが利用可能です。インタラクティブ アバター開発者は、これらのモデルを開発パイプラインに個別に組み込むことができます。
NVIDIAについて
1993年の創業以来、NVIDIA（https://www.nvidia.com/ja-jp/） (NASDAQ: NVDA) はアクセラレーテッド コンピューティングのパイオニアです。同社が 1999 年に発明した GPU は、PC ゲーム市場の成長を促進し、コンピューター グラフィックスを再定義して、現代の AI の時代に火をつけながら、各種産業のデジタル化を後押ししています。NVIDIA は現在、業界を再形成しているデータセンター規模の製品を提供するフルスタック コンピューティング企業です。詳細は、こちらのリンクから：https://nvidianews.nvidia.com/
