NPCと会話して密室脱出すればゲームクリア!ChatGPT等のAIクラウドサービスを使った『名探偵モカと密室脱出』デモ動画をヒストリアが公開

2023.08.04
ニュース公開資料まとめAIアンリアルエンジン
この記事をシェア!
Twitter Facebook LINE B!
Twitter Facebook LINE B!

この記事の3行まとめ

  • ヒストリアがChatGPT×UE5を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開
  • マイク入力で名探偵モカと会話し、ヒントを貰いながら密室を脱出するゲーム
  • ゲーム進行や会話の実現方法などを紹介した開発者によるブログ記事も同時公開

ヒストリアはChatGPTとUnreal Engine 5(以下、UE5)を用いた3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開しました。

『名探偵モカと密室脱出』はマイクによる声の入力で名探偵のモカと会話。モカからヒントを貰いながら、密室脱出をめざします。

3D脱出ゲーム『名探偵モカと密室脱出』は2023年6月22日に行われたMicrosoft×ゲームメーカーズのコラボイベント『Microsoft Game Dev in Japan 2023』で初めて公開されました。

今回公開された動画はデモ公開用に再収録を行ったものです。動画はショートverノーカットverの2種類が用意されています。

※ 本作は技術研究プロジェクトであり、ゲームとしての一般公開予定はありません

【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia

本作の目的は、ChatGPTおよび文字起こし/読み上げサービスを利用した「より自然なコミュニケーション」によるゲームプレイの可能性を探ることです。

具体的には、以下の3点が本作の目標に掲げられています。

  • 自然言語(声)によるNPCとのコミュニケーション
  • ChatGPTにより3Dキャラクターを動かす
  • ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

本プロジェクトは、クラウド上で動作するAIクラウドサービス、そしてクライアント側のUE5による実装で実現。

AIクラウドサービスは音声の文字起こしや読み上げ、そしてNPCの行動・会話返答部分を担っています。一方、UE5はキャラクター移動や演出部分の実装に使われています。

「文字起こし」、「NPC行動・会話返答」、「セリフ読み上げ」にAIクラウドサービスを使用

ChatGPTのストリーミング機能を利用することで、キャラクターレスポンスを改善。コマンド部がキャラクター移動を先に実行することで、セリフ部がセリフ読み上げを開始するまでの時間を稼いでいる

これらの技術の詳細はヒストリアブログ『Microsoft Game Dev in Japan 2023』の講演記事で解説しています。興味のある方はこちらもご参照ください。

その他、3D脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画公開の詳細はプレスリリースをご確認ください。

【ノーカットVer】ChatGPT×UE5技術デモ「名探偵モカと密室脱出」 デモンストレーション動画 | historia「名探偵モカと密室脱出」開発者による見どころ紹介! ー ChatGPTに任せたゲーム進行と自然な会話の実現方法プレスリリース

以下、プレスリリースからの引用です。


Unreal Engine専門のソフトウェア開発会社 株式会社ヒストリア(代表:佐々木瞬 本社所在地: 東京都品川区)は、ChatGPT×UE5を用いた技術デモ、“声”だけでプレイする3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を2023年8月4日(金)に公開いたしました。

 

■『名探偵モカと密室脱出』とは

デモンストレーション動画

ショートverhttps://youtu.be/bCf27oheeSk

ノーカットverhttps://youtu.be/N2uDYZ1PNNM

 

本作はマイクにより声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。

以下の3つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、脱出のカギを見つけて部屋の中から脱出するゲーム」として仕立て上げました。

 

・自然言語(声)によるNPCとのコミュニケーション

ChatGPTにより3Dキャラクターを動かす

ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

 

※本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。

 

ChatGPTを含む3つのAIクラウドサービスを使用

本作では3つのAIクラウドサービスを使用しています。

1. 文字起こし:Azure Cognitive ServicesSpeech Service内「リアルタイム音声テキスト変換」

マイクから取得した音声をテキストへ変換。

2.行動・セリフ決定:「ChatGPTGPT-4)」

文字起こしで得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。

3.読み上げ:Azure Cognitive ServicesSpeech Service内「Custom Neural Voice
ChatGPT
で得たセリフをボイスに変換。

 

クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。

 

ChatGPTのストリーミング機能を利用したレスポンス向上

自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。

ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。

 

1.セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い、時間を稼ぐ。

2.セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。

 

以下は2の概念図です。

これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。

 

■開発者による見どころ紹介を公開

ChatGPTに任せたゲーム進行や自然な会話の実現方法などを紹介しております。

https://historia.co.jp/archives/35752/

 

これらの研究結果を今後の制作に役立てるとともに、これからもヒストリアではAI技術とリアルタイムレンダリング技術を掛け合わせて実現できることを探求していきます。

 

■株式会社ヒストリアとは

 

Unreal Engine専門のソフトウェア開発会社です。ゲーム事業とエンタープライズ事業の2つの軸でソフトウェアの企画、開発を行っています。代表作は『ライブアライブ』(開発)、『Caligula2』(開発・PC版販売)、『ジョジョの奇妙な冒険 ラストサバイバー』(開発)など。
エンタープライズ事業では、自動車業界、建築業界、映像・放送業界向けコンテンツやメタバース等を制作。また、『UE5ぷちコン』を始めとするイベントの主催・運営や技術ブログの発信など、Unreal Engineコミュニティを盛り上げる活動を行う他、WEBメディア『ゲームメーカーズ』運営等、開発者への情報発信にも力を入れる。

株式会社ヒストリア 会社HP: https://historia.co.jp/

ヒストリア・エンタープライズ 会社HP: https://historia.co.jp/enterprise/

公式Twitterhttps://twitter.com/historia_Inc

関連記事

Unreal Engine 5.4.3がリリース。Mac向けにパッケージ化する際に起こるエラーの修正や、BaseDeviceProfiles.iniの2024年発売のiPadへの対応など
2024.07.17
50代からゲーム開発を始めた第21回UE5ぷちコン最優秀賞作『ヘコむス』開発者インタビュー。約40年前の「床をヘコませてボールを転がす」アイデアをUEで実現!
2024.07.16
エピック ゲームズ ジャパンによる講演も行われた「第2回 Unreal Engine KYUSHU LT会 in 鹿児島」、アーカイブ動画および一部のスライド資料が公開
2024.07.11
ゲーム開発者必見のカンファレンス10選【GDC・CEDEC・Unreal Fest・U/Dayなど】
2024.07.11
「Unreal Engine」2024年7月の無料マーケットプレイスコンテンツが公開!何千ものポーンを制御するプラグインや、スタイライズされた環境アセットのバンドルなど
2024.07.03
スクウェア・エニックスのAI開発陣によるゲームAIの解説書『スクウェア・エニックスのAI』、ボーンデジタルより7/30(火)に発売予定
2024.07.02

注目記事ランキング

2024.07.10 - 2024.07.17
VIEW MORE

連載・特集ピックアップ

イベントカレンダー

VIEW MORE

今日の用語

ラグドール(Rag Doll)
ラグドール ぬいぐるみを意味する英語。 ゲームにおける、キャラクターの全身が脱力したかのような挙動を行う物理シミュレーション。ラグドール物理。 例えば、上空からの落下やキャラクターが死亡した際に用いられる。
VIEW MORE

Twitterで最新情報を
チェック!