NVIDIAが「NVIDIA ACE」の最新デモを発表。低遅延でRiva ASRとA2Fを使ったNPCとの自然な会話が実現

2024.01.11
ニュースお役立ち情報AI
この記事をシェア!
twitter facebook line B!
twitter facebook line B!

この記事の3行まとめ

  • NVIDIAが、AIマイクロサービススイート「NVIDIA Avatar Cloud Engine」の新たなデモ映像を公開
  • 「NVIDIA Avatar Cloud Engine」ではプロジェクトにさまざまなAIマイクロサービスを組み合わせた使用が可能になる
  • 新たなデモ映像ではConvaiのリリースによって空間認識やNPC同士の会話が可能になっている

NVIDIAは2024年1月8日(現地時間)、「NVIDIA Avatar Cloud Engine(以下、NVIDIA ACE)」の新たなデモを発表しました。

YouTube動画『NVIDIA ACE Brings Digital Characters to Life with Generative AI ft. Convai』。今回公開されたデモ映像

NVIDIA ACEは、A2F(※1)やRiva ASR(※2)などの AI モデルの取得からゲームやアプリケーションでのデジタルアバター実装までを可能にします。NVIDIA ACEのAIモデルはクラウド上またはローカルPC上で動作する設計になっています。

具体的には、生成AI技術によってインタラクティブな対応ができるNPCなどのデジタルアバターの実装などができます。

※1 NVIDIA Omniverse Audio2Face。音声ソースからリップシンクなどの表情アニメーションを生成する
※2 NVIDIA Riva 自動音声認識。自動音声認識、音声合成、ニューラル機械翻訳などが可能な多言語音声および翻訳AIソフトウェア開発キット

NVIDIA ACEでは、A2F、Riva ASR以外にもNVIDIA Live PortraitNVIDIA Voice FontNVIDIA NeMoなどのAIモデルが用意されていますが、現在使用できるのはA2FとRiva ASRとのこと。

早期アクセスの申し込みは、専用ページより可能です。

NVIDIA ACEを使ったパイプライン(画像はニュースリリースより引用)

このデモでは、Convaiのリリースによって空間認識やNPC同士の会話が可能になっている他、NVIDIA ACEを使用したことにより、ゲームキャラクターの口パクやセリフの表現力の向上、プレイヤーの声の正確な音声認識が低遅延で可能となっています。

詳しい情報は、ニュースリリースプレスリリースをご確認ください。

ニュースリリースNVIDIA Developer『NVIDIA ACE』プレスリリース

 

以下、プレスリリースからの引用です。


ラスベガス—CES—2024 年 1月 8 日 — NVIDIA は本日、ゲーム、ツール、ミドルウェアの開発者が最先端の生成 AI モデルをゲームやアプリケーションのデジタル アバターへ統合可能にする NVIDIA Avatar Cloud Engine (ACE)(https://developer.nvidia.com/ace) のプロダクション マイクロサービスを発表しました。

新しい ACE マイクロサービスにより、開発者はオーディオ ソースから表情豊かなフェイシャル アニメーションを作成する NVIDIA Omniverse Audio2Face (A2F)(https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/) や、生成AIを使用してカスタマイズ可能な多言語音声および翻訳アプリケーションを構築するための NVIDIA Riva 自動音声認識 (ASR) などの AI モデルを使用して、インタラクティブなアバターを構築できるようになります。

ACE を採用している開発者には Charisma.AI(https://charisma.ai/)、Convai(https://www.convai.com/)、Inworld(https://inworld.ai/)、miHoYo(https://www.mihoyo.com/en/)、NetEase Games(https://www.neteasegames.com/)、OurPalm(https://english.ourpalm.com/)、Tencent(https://www.tencent.com/)、Ubisoft(https://www.ubisoft.com/en-us/)、UneeQ(https://www.digitalhumans.com/)などがあります。

「生成 AI テクノロジは、私たちが行うすべてのことを変革しています。これには、ゲーム制作やゲームプレイも含まれます」と語るのは、NVIDIA の開発者リレーションズ担当バイス プレジデントである飯田慶太です。「NVIDIA ACE は、ゲーム開発者の世界に本物そっくりのデジタル キャラクターを登場させることで、事前にスクリプト化された対話の必要性を排除し、より優れたゲームへの没入感を提供し、ゲーム開発者に新たな可能性をもたらします」

主要なゲームおよびインタラクティブ アバター開発者が NVIDIA ACE を採用

主要なゲームやインタラクティブ アバターの開発者は、ACE および生成 AI テクノロジを使用して、ゲームやアプリケーションにおけるプレイヤーとノンプレイアブル キャラクター (NPC) の間のインタラクションを変革する先駆的な方法を開拓しています。

NetEaseのシニアバイスプレジデントであり、LeiHuoビジネスグループの責任者であるZhipeng Hu氏は、次のように述べています。「NVIDIAは、長年にわたってゲーム テクノロジの先導者であり、ゲームを制作するための新しい革新的な方法を提供してきました。NVIDIAは、ゲームAIテクノロジの採用を通じて、ゲームをよりインテリジェントでプレイしやすいものにし、その結果、より没入感のある体験を生み出しています。」

「これはゲームにおける AI にとって画期的な瞬間です」と、Tencent Games の担当者は語ります。「NVIDIA ACE と Tencent Games は、個性的でリアルな性格とインタラクションを備えたデジタル アバターを、ビデオ ゲームにもたらす基盤を構築することを後押しします」

NVIDIA ACE がゲーム キャラクターに命を吹き込む

NPC はこれまで、あらかじめ決められた応答とフェイシャル アニメーションでデザインされてきました。これにより、プレイヤーのインタラクションが制限され、事務的で短時間になりがちで、その結果、大多数のプレイヤーにスキップされていました。

Convai の創設者兼 CEO の Purnendu Mukherjee 氏は、「仮想世界における生成 AI を活用したキャラクターは、これまで不可能だったさまざまなユースケースや体験を可能にしまる」と述べています。「Convai は Riva ASR と A2F を活用して、低遅延の応答時間と忠実度の高い自然なアニメーションを備えた本物のような NPC を実現しています」

ACE が NPC とのインタラクションをどのように変革できるかを示すために、NVIDIA は Convai(https://www.convai.com/) と協力して、Computex で初披露された NVIDIA Kairos デモを拡張し、多くの新機能と ACE マイクロサービスを搭載しました。

Kairos の最新バージョンでは、Riva ASR と A2F が広範囲に使用され、NPC の対話性が向上しています。Convai の新しいフレームワークにより、NPC 同士が会話できるようになり、オブジェクトを認識できるようになり、アイテムを拾って目的のエリアに届けることができるようになりました。さらに、NPC はプレイヤーを目的に導き、ワールドを横断する能力を獲得します。

現在 Audio2Face および Riva 自動音声認識マイクロサービスが利用可能です。インタラクティブ アバター開発者は、これらのモデルを開発パイプラインに個別に組み込むことができます。

NVIDIAについて
1993年の創業以来、NVIDIA(https://www.nvidia.com/ja-jp/) (NASDAQ: NVDA) はアクセラレーテッド コンピューティングのパイオニアです。同社が 1999 年に発明した GPU は、PC ゲーム市場の成長を促進し、コンピューター グラフィックスを再定義して、現代の AI の時代に火をつけながら、各種産業のデジタル化を後押ししています。NVIDIA は現在、業界を再形成しているデータセンター規模の製品を提供するフルスタック コンピューティング企業です。詳細は、こちらのリンクから:https://nvidianews.nvidia.com/

関連記事

実写映像を3Dアニメーション化するAIツール「Wonder Studio」にUEエクスポート機能追加。カメラやキャラクターアニメーションなどの要素に分解も可能
2024.02.16
NVIDIA、ローカル環境で動くAIチャットボット『NVIDIA Chat With RTX』を無料で公開
2024.02.14
3Dスキャンアプリ『Luma AI』生成データをUE5にインポートするプラグイン『Luma Unreal Engine Plugin』v0.41がリリース。機械学習モデルを利用し生成した3DオブジェクトをUE5で表示できる
2024.01.17
Steam、生成AIを使ったゲームの大半がリリース可能に。ただし、「必要に応じて今回の決定を再検討する予定」とも公表
2024.01.11
「GitHub Copilot Chat」、組織・個人向け一般提供を開始。コードの疑問やチェックを、Visual Studioなどの開発環境内にてチャット形式でAIに質問できる
2024.01.10
画像生成AIサービス『Generative AI by iStock』、ゲッティイメージズがリリース。同社保有のライブラリでトレーニングされ、生成された画像は商用利用が可能
2024.01.10

注目記事ランキング

2024.02.27 - 2024.03.05
1
『フォートナイト』で動く本格的なゲームが作れるツール「UEFN」とは?従来のクリエイティブモードから進化したポイントを一挙紹介!
2
【CHALLENGE1】「クリエイター ポータル」を使って、UEFNで作成した島を世界中に公開する
3
【2022年5月版】今から始めるフォートナイトの「クリエイティブ」モードープレイ開始から基本的な操作方法まで解説
4
UEFNで使えるプログラミング言語「Verse」のノウハウが集結。『UEFN.Tokyo 勉強会 03 Verse Night』レポート
5
フォートナイト クリエイティブとUEFNで使える仕掛け一覧
6
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.1「アイテム系」
7
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.5「島の設定」
8
フォートナイトとUEFNがv28.30にアップデート。「NPCスポナー」が、スポーン・撃破時のエフェクトや移動速度のカスタマイズに対応
9
【STEP2】UEFNの基本的な使い方を覚えよう
10
【CHALLENGE2-1】フレンドと一緒にゲームを作ろう――UEFNプロジェクトをチームメンバーとリアルタイムで共同編集する
11
【STEP1】「UEFN」を入手しよう
12
まるで『マイクラ』?ボクセル地形を生み出す無料アセット「VoxelPlugin Free」で”地形を掘ったり積み重ねたり”して遊んでみよう
13
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.4「ゲームシステム系」
14
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part1
15
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.2「ユーティリティ系」
16
フルカラー書籍「UEFN(Unreal Editor For Fortnite)でゲームづくりを始めよう!」、ついに本日発売!全国書店で好評発売中!
17
【CHALLENGE3】UEFNの機能「ランドスケープ」を使ってオリジナルの地形を作る
18
NIKEのAir Maxをテーマにしたフォートナイトの島『Airphoria』、制作に関するチュートリアルが公開
19
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part1
20
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part2
21
『フォートナイト』で建築ビジュアライゼーション!?UEFNでオリジナルの世界観をどう作り上げたか、その手法を解説【UNREAL FEST 2023 TOKYO】
22
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.3「プレイヤー系」
23
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.6「チーム・対戦系」Part1
24
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part2
25
フォートナイトとUEFNがv26.30にアップデート。ロビー画面が一新され、クリエイターが島ごとにロビー背景を自由にカスタムできるように
26
【STEP6-1】「オリジナルキャラクターを登場させよう」――Fabでアセットをダウンロードしよう
27
「UEFN」って実際どうなの? 編集部が3時間で「みんなで遊べるアクションゲーム(?)」を作ってみた
28
【STEP5-1】スタート時のカウントダウンを作る
29
【STEP4-1】コース外に出たらデスする仕組みを作る
30
【STEP4-2】リスポーンとチェックポイントの仕組みを作る
VIEW MORE

イベントカレンダー

VIEW MORE

今日の用語

レンダリング(Rendering)
レンダリング コンピューターグラフィックスにおける、各種データ(3Dモデルなど)をプログラムを用いて計算し、画像として表示すること。レンダリングを行うプログラムをレンダラー(Renderer)と呼ぶ。
VIEW MORE

Twitterで最新情報を
チェック!