［GDC 2023］GPT-3でNPCの会話を生成。Nuverseが「アース：リバイバル」でチャレンジする，新テクノロジーによるゲーム開発の“新たな一歩”

　異星の文明による侵略を受けた2112年の地球を舞台に，オープンワールドで表現された過酷な世界を生きる“超本格SFサバイバルRPG”こと「アース：リバイバル」（PC / iOS / Android）。2023年4月20日のリリースが近づくこのNuverseの新作では，新しいテクノロジーによって“どのようにこれからのゲームを進歩させるか”というチャレンジが行われている。

　それが明らかにされたのが，アメリカ・サンフランシスコで開催されたGDC 2023の，「Machine Learning Summit: GPT-3 Powered Text to Lifelike Speech and Animation for NPCs」という名のセッションだ。そのチャレンジというのが， 自然言語技術処理モデル「GPT-3」を使ったNPCのセリフと表情，仕草の生成。プレイヤーの没入感を高めるべく，ゲーム内のすべてのキャラクターをリアルに表現するという目標のもと，GPT-3にNPCに命を宿す役割を任せるというものだ。
　今後のゲーム開発の新たな一歩となりそうなその取り組みを，NuverseのJNG StudioでAIチームリーダーを務めるDao Si氏が説明した。


　「HI System for NPCs」と呼ばれるこの仕組みでは，まず会話テキストを入力すると「Text Analysis Module」による解読が始まる。ポジティブか，ネガティブか，それとも曖昧か。Text Analysis Moduleで使用されているGPT-3が会話の意味を考え，そして30種類以上あるEmotional tagsからテキストにあった感情をタグづけする。

　続いて，会話のテキストを「Text to Speech Module」が口語に整え，間の取り方や顔の表情，動作といったパラ言語も定めながら，基本音声にヴォコーダーをかけて音声を作成。「Facial Animation Generation Module」が，それらのデータを元に自然な顔の動き，表情を作る。さらに「Body Motion Generation Module」が，人物や会話の内容，表情，間，200以上あるという「Semantic Gesture tags」（ジェスチャータグ）をもとに人物の動きを完成させる。


　専門的な内容も多かったため，細かい部分まで伝えられないが，100人以上のNPC用の会話と仕草（およそ68時間分）が1週間で仕上がるという効率の良さを見せたそうだ。しかもNPCは複数タイトル向けである。なお，GPUはNVIDIAのT4を使用しており，10秒〜20秒のシーンがT4（一基）で800ミリ秒以下で仕上がるそうだ。


　もちろん，さまざまな課題があるようで，たとえば似ているキャラクター同士でも，表情の出し方は微妙に変わるため，同じ感情，同じ声でトーンが同じセリフであっても生成されたパラメータを使い回すことはできない。顔に傷があるかないかでも変わるし，ジェスチャーでいえば言葉の間や話していないときの動きもある。デモで流された映像は，中国語をメインに英語と日本語があったが，多言語の場合はそれぞれのリップシンクなどの問題もあるようだ。


　すべてをAIがやってくれるというものではないが，すくすく育つジェネレーティブAIの成長ぶりをみると，またすぐに“新しくできるようになったこと”の報告があがってくるのでは？　という期待がある。Ubisoft Entertainmentの脚本執筆補助ツール「Ghostwriter」，「Roblox」のコンテンツ制作における使用例など，今回のGDCではさまざまな形で“ゲーム開発における生成系AI”が紹介されているので，この辺りのレポートも一読してほしい。

デモでは人間とNPCの会話も披露された。ゲーム中にそれが導入されるのはまだまだ先のことだろうが，特定のイベントでのテキスト入力という形であれば......などと色々妄想は広がる

　Dao Si氏は，現在ある課題に向き合いながら，さらにアニメーションやオーディオを生成するモジュールを開発，それを統合したインテリジェントMPCシステムの構築を目指すとのこと。まずは4月20日にローンチを迎える「アース：リバイバル」で，現在の仕事っぷりを見ておくのもいいだろう。