NPCと会話して密室脱出すればゲームクリア!ChatGPT等のAIクラウドサービスを使った『名探偵モカと密室脱出』デモ動画をヒストリアが公開

2023.08.04
ニュース公開資料まとめAIアンリアルエンジン
この記事をシェア!
twitter facebook line B!
twitter facebook line B!

この記事の3行まとめ

  • ヒストリアがChatGPT×UE5を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開
  • マイク入力で名探偵モカと会話し、ヒントを貰いながら密室を脱出するゲーム
  • ゲーム進行や会話の実現方法などを紹介した開発者によるブログ記事も同時公開

ヒストリアはChatGPTとUnreal Engine 5(以下、UE5)を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開しました。

『名探偵モカと密室脱出』はマイクによる声の入力で名探偵のモカと会話。モカからヒントを貰いながら、密室脱出をめざします。

3D脱出ゲーム『名探偵モカと密室脱出』は2023年6月22日に行われたMicrosoft×ゲームメーカーズのコラボイベント『Microsoft Game Dev in Japan 2023』で初めて公開されました。

今回公開された動画はデモ公開用に再収録を行ったものです。動画はショートverノーカットverの2種類が用意されています。

※ 本作は技術研究プロジェクトであり、ゲームとしての一般公開予定はありません

【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia

本作の目的は、ChatGPTおよび文字起こし/読み上げサービスを利用した「より自然なコミュニケーション」によるゲームプレイの可能性を探ることです。

具体的には、以下の3点が本作の目標に掲げられています。

  • 自然言語(声)によるNPCとのコミュニケーション
  • ChatGPTにより3Dキャラクターを動かす
  • ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

本プロジェクトは、クラウド上で動作するAIクラウドサービス、そしてクライアント側のUE5による実装で実現。

AIクラウドサービスは音声の文字起こしや読み上げ、そしてNPCの行動・会話返答部分を担っています。一方、UE5はキャラクター移動や演出部分の実装に使われています。

「文字起こし」、「NPC行動・会話返答」、「セリフ読み上げ」にAIクラウドサービスを使用

ChatGPTのストリーミング機能を利用することで、キャラクターレスポンスを改善。コマンド部がキャラクター移動を先に実行することで、セリフ部がセリフ読み上げを開始するまでの時間を稼いでいる

これらの技術の詳細はヒストリアブログ『Microsoft Game Dev in Japan 2023』の講演記事で解説しています。興味のある方はこちらもご参照ください。

その他、3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画公開の詳細はプレスリリースをご確認ください。

【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia「名探偵モカと密室脱出」開発者による見どころ紹介! ー ChatGPTに任せたゲーム進行と自然な会話の実現方法プレスリリース

以下、プレスリリースからの引用です。


Unreal Engine専門のソフトウェア開発会社 株式会社ヒストリア(代表:佐々木瞬 本社所在地: 東京都品川区)は、ChatGPT×UE5を用いた技術デモ、“声”だけでプレイする3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を2023年8月4日(金)に公開いたしました。

 

■『名探偵モカと密室脱出』とは

デモンストレーション動画

ショートverhttps://youtu.be/bCf27oheeSk

ノーカットverhttps://youtu.be/N2uDYZ1PNNM

 

本作はマイクにより声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。

以下の3つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、脱出のカギを見つけて部屋の中から脱出するゲーム」として仕立て上げました。

 

・自然言語(声)によるNPCとのコミュニケーション

ChatGPTにより3Dキャラクターを動かす

ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

 

※本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。

 

ChatGPTを含む3つのAIクラウドサービスを使用

本作では3つのAIクラウドサービスを使用しています。

1. 文字起こし:Azure Cognitive ServicesSpeech Service内「リアルタイム音声テキスト変換」

マイクから取得した音声をテキストへ変換。

2.行動・セリフ決定:「ChatGPTGPT-4)」

文字起こしで得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。

3.読み上げ:Azure Cognitive ServicesSpeech Service内「Custom Neural Voice
ChatGPT
で得たセリフをボイスに変換。

 

クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。

 

ChatGPTのストリーミング機能を利用したレスポンス向上

自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。

ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。

 

1.セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い、時間を稼ぐ。

2.セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。

 

以下は2の概念図です。

これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。

 

■開発者による見どころ紹介を公開

ChatGPTに任せたゲーム進行や自然な会話の実現方法などを紹介しております。

https://historia.co.jp/archives/35752/

 

これらの研究結果を今後の制作に役立てるとともに、これからもヒストリアではAI技術とリアルタイムレンダリング技術を掛け合わせて実現できることを探求していきます。

 

■株式会社ヒストリアとは

 

Unreal Engine専門のソフトウェア開発会社です。ゲーム事業とエンタープライズ事業の2つの軸でソフトウェアの企画、開発を行っています。代表作は『ライブアライブ』(開発)、『Caligula2』(開発・PC版販売)、『ジョジョの奇妙な冒険 ラストサバイバー』(開発)など。
エンタープライズ事業では、自動車業界、建築業界、映像・放送業界向けコンテンツやメタバース等を制作。また、『UE5ぷちコン』を始めとするイベントの主催・運営や技術ブログの発信など、Unreal Engineコミュニティを盛り上げる活動を行う他、WEBメディア『ゲームメーカーズ』運営等、開発者への情報発信にも力を入れる。

株式会社ヒストリア 会社HP: https://historia.co.jp/

ヒストリア・エンタープライズ 会社HP: https://historia.co.jp/enterprise/

公式Twitterhttps://twitter.com/historia_Inc

関連記事

「Steam Audio」がオープンソース化。UnityやUEに統合できる、ゲームやVRアプリ用の空間オーディオツール
2024.02.22
実写映像を3Dアニメーション化するAIツール「Wonder Studio」にUEエクスポート機能追加。カメラやキャラクターアニメーションなどの要素に分解も可能
2024.02.16
Unreal Engine向けゲーム制作コンテスト『第21回UE5ぷちコン』開始!テーマは「おす」。応募締切は4/7(日)
2024.02.16
NVIDIA、ローカル環境で動くAIチャットボット『NVIDIA Chat With RTX』を無料で公開
2024.02.14
揺れ物を手軽に「かわいく」揺らせる疑似物理プラグイン「KawaiiPhysics」がアップデート。ボーン間の距離を維持して、モデルのスカート貫通問題を緩和しやすく
2024.02.12
「Unreal Engine」2024年2月の無料マーケットプレイスコンテンツが公開!Steam APIを活用したブループリントアセットや、ファンタジックなインテリアを集めた環境アセットなど
2024.02.07

注目記事ランキング

2024.02.19 - 2024.02.26
1
UEFNで使えるプログラミング言語「Verse」のノウハウが集結。『UEFN.Tokyo 勉強会 03 Verse Night』レポート
2
【2022年5月版】今から始めるフォートナイトの「クリエイティブ」モードープレイ開始から基本的な操作方法まで解説
3
『フォートナイト』で動く本格的なゲームが作れるツール「UEFN」とは?従来のクリエイティブモードから進化したポイントを一挙紹介!
4
【CHALLENGE1】「クリエイター ポータル」を使って、UEFNで作成した島を世界中に公開する
5
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.1「アイテム系」
6
フォートナイト クリエイティブとUEFNで使える仕掛け一覧
7
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.5「島の設定」
8
NIKEのAir Maxをテーマにしたフォートナイトの島『Airphoria』、制作に関するチュートリアルが公開
9
【STEP2】UEFNの基本的な使い方を覚えよう
10
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part1
11
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part1
12
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.4「ゲームシステム系」
13
【CHALLENGE2-1】フレンドと一緒にゲームを作ろう――UEFNプロジェクトをチームメンバーとリアルタイムで共同編集する
14
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.2「ユーティリティ系」
15
まるで『マイクラ』?ボクセル地形を生み出す無料アセット「VoxelPlugin Free」で”地形を掘ったり積み重ねたり”して遊んでみよう
16
【CHALLENGE3】UEFNの機能「ランドスケープ」を使ってオリジナルの地形を作る
17
フォートナイトとUEFNがv28.20にアップデート。「キーの長押しによるチャージシステムの実装」などを実現する「入力トリガーの仕掛け」が登場
18
フルカラー書籍「UEFN(Unreal Editor For Fortnite)でゲームづくりを始めよう!」、ついに本日発売!全国書店で好評発売中!
19
【STEP6-1】「オリジナルキャラクターを登場させよう」――Fabでアセットをダウンロードしよう
20
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.7「NPC系」Part2
21
【STEP4-1】コース外に出たらデスする仕組みを作る
22
『フォートナイト』で建築ビジュアライゼーション!?UEFNでオリジナルの世界観をどう作り上げたか、その手法を解説【UNREAL FEST 2023 TOKYO】
23
フォートナイトとUEFNがv26.30にアップデート。ロビー画面が一新され、クリエイターが島ごとにロビー背景を自由にカスタムできるように
24
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.3「プレイヤー系」
25
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.6「チーム・対戦系」Part1
26
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.9「建築物系」Part1
27
フォートナイト クリエイティブとUEFNで使える仕掛け一覧 Vol.10「UI系」Part2
28
【STEP3】オリジナルのアスレチックコースを作ろう
29
【STEP4-2】リスポーンとチェックポイントの仕組みを作る
30
【STEP5-1】スタート時のカウントダウンを作る
VIEW MORE

イベントカレンダー

VIEW MORE

今日の用語

ワイヤーフレーム(Wire Frame)
ワイヤーフレーム
  1. 3Dモデルのエッジ情報のみを表示するレンダリング手法。ゲーム開発においては、3Dモデルやシーンのポリゴン構造を確認することに用いることが多い。
  2. UIやWebページなどのレイアウトを決めるための設計図。
VIEW MORE

Twitterで最新情報を
チェック!