この記事の3行まとめ
- ヒストリアがChatGPT×UE5を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開
- マイク入力で名探偵モカと会話し、ヒントを貰いながら密室を脱出するゲーム
- ゲーム進行や会話の実現方法などを紹介した開発者によるブログ記事も同時公開
ヒストリアはChatGPTとUnreal Engine 5（以下、UE5）を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開しました。
『名探偵モカと密室脱出』はマイクによる声の入力で名探偵のモカと会話。モカからヒントを貰いながら、密室脱出をめざします。
3D脱出ゲーム『名探偵モカと密室脱出』は2023年6月22日に行われたMicrosoft×ゲームメーカーズのコラボイベント『Microsoft Game Dev in Japan 2023』で初めて公開されました。
今回公開された動画はデモ公開用に再収録を行ったものです。動画はショートverとノーカットverの2種類が用意されています。
※ 本作は技術研究プロジェクトであり、ゲームとしての一般公開予定はありません
【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia
本作の目的は、ChatGPTおよび文字起こし/読み上げサービスを利用した「より自然なコミュニケーション」によるゲームプレイの可能性を探ることです。
具体的には、以下の3点が本作の目標に掲げられています。
- 自然言語（声）によるNPCとのコミュニケーション
- ChatGPTにより3Dキャラクターを動かす
- ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる
本プロジェクトは、クラウド上で動作するAIクラウドサービス、そしてクライアント側のUE5による実装で実現。
AIクラウドサービスは音声の文字起こしや読み上げ、そしてNPCの行動・会話返答部分を担っています。一方、UE5はキャラクター移動や演出部分の実装に使われています。
「文字起こし」、「NPC行動・会話返答」、「セリフ読み上げ」にAIクラウドサービスを使用
ChatGPTのストリーミング機能を利用することで、キャラクターレスポンスを改善。コマンド部がキャラクター移動を先に実行することで、セリフ部がセリフ読み上げを開始するまでの時間を稼いでいる
これらの技術の詳細はヒストリアブログや『Microsoft Game Dev in Japan 2023』の講演記事で解説しています。興味のある方はこちらもご参照ください。
その他、3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画公開の詳細はプレスリリースをご確認ください。
【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia「名探偵モカと密室脱出」開発者による見どころ紹介！ ー ChatGPTに任せたゲーム進行と自然な会話の実現方法プレスリリース以下、プレスリリースからの引用です。
Unreal Engine専門のソフトウェア開発会社 株式会社ヒストリア（代表：佐々木瞬 本社所在地： 東京都品川区）は、ChatGPT×UE5を用いた技術デモ、“声”だけでプレイする3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を2023年8月4日(金)に公開いたしました。
■『名探偵モカと密室脱出』とは
デモンストレーション動画
ショートver：https://youtu.be/bCf27oheeSk
ノーカットver：https://youtu.be/N2uDYZ1PNNM
本作はマイクにより声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。
以下の３つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、脱出のカギを見つけて部屋の中から脱出するゲーム」として仕立て上げました。
・自然言語（声）によるNPCとのコミュニケーション
・ChatGPTにより3Dキャラクターを動かす
・ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる
※本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。
■ChatGPTを含む3つのAIクラウドサービスを使用
本作では3つのAIクラウドサービスを使用しています。
1. 文字起こし：Azure Cognitive ServicesのSpeech Service内「リアルタイム音声テキスト変換」
マイクから取得した音声をテキストへ変換。
2.行動・セリフ決定：「ChatGPT（GPT-4）」
文字起こしで得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。
3.読み上げ：Azure Cognitive ServicesのSpeech Service内「Custom Neural Voice」
ChatGPTで得たセリフをボイスに変換。
クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。
■ChatGPTのストリーミング機能を利用したレスポンス向上
自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。
ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。
１．セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い、時間を稼ぐ。
２．セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。
以下は2の概念図です。
これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。
■開発者による見どころ紹介を公開
ChatGPTに任せたゲーム進行や自然な会話の実現方法などを紹介しております。
https://historia.co.jp/archives/35752/
これらの研究結果を今後の制作に役立てるとともに、これからもヒストリアではAI技術とリアルタイムレンダリング技術を掛け合わせて実現できることを探求していきます。
■株式会社ヒストリアとは
Unreal Engine専門のソフトウェア開発会社です。ゲーム事業とエンタープライズ事業の2つの軸でソフトウェアの企画、開発を行っています。代表作は『ライブアライブ』（開発）、『Caligula2』（開発・PC版販売）、『ジョジョの奇妙な冒険 ラストサバイバー』（開発）など。
エンタープライズ事業では、自動車業界、建築業界、映像・放送業界向けコンテンツやメタバース等を制作。また、『UE5ぷちコン』を始めとするイベントの主催・運営や技術ブログの発信など、Unreal Engineコミュニティを盛り上げる活動を行う他、WEBメディア『ゲームメーカーズ』運営等、開発者への情報発信にも力を入れる。
株式会社ヒストリア 会社HP： https://historia.co.jp/
ヒストリア・エンタープライズ 会社HP： https://historia.co.jp/enterprise/
公式Twitter： https://twitter.com/historia_Inc
