［CEDEC 2023］モーションキャプチャを自宅で行うという選択肢。「FINAL FANTASY XVI：おうちDEモーションキャプチャ」聴講レポート

　2023年8月25日，ゲーム開発者向けカンファレンス「CEDEC 2023」にて，スクウェア・エニックスの佐藤逸人氏と，髙田英治氏による講演「FINAL FANTASY XVI：おうちDEモーションキャプチャ」が行われた。

　本講演は，「FINAL FANTASY XVI」（以下，FF16）の開発中，リモートワークへの移行に合わせて，いくつかのモーションキャプチャツールを自宅で使用してみた経験を，実例を交えながら解説するというものだ。


　通常，アニメーションの収録は専用のスタジオで行われる。ところが，2020年にFF16のアニメーターのほとんどがリモートワークとなったため，リモートワークとモーションキャプチャスタジオを両立できる新しい収録方法を検討することになったそうだ。その結果として考えられたのが「おうちDEモーションキャプチャ」だという。


　使用したモーションキャプチャツールは，加速度センサーの「Perception Neuron Studio」，動画からキャプチャデータを生成する「MediaPipe」，そして6個のセンサーでフルトラッキングできる「mocopi」の3つだ。なお，mocopiについては，開発がほとんど終了した時期に発売されたため，検証結果のみの紹介となる。


　まずは「おうち DE 加速度センサー」として，Perception Neuron Studioの例が紹介された。Perception Neuron Studioはコンパクトながら精度が高く，一人でもセットアップ可能な点が今回の挑戦に適していると考え，採用に至ったとのこと。

装着は6分37秒ほどで完了

　Perception Neuron Studioは，装着後のキャリブレーションで4つのポーズを取ることになる。それ以外の細かいセットアップ作業は，センサーと連携した「Axis Studio」というソフトが案内してくれるそうだ。
　撮影後は，アニメーションデータが入ったFBX（モデル）が出力されるので，それを元に公式のプラグインでMaya Human IKを作成。モーション確認用のモデルにIKをリターゲットし，リグシステムに流し込む。
　なお，Perception Neuron StudioではMaya上でのリアルタイムキャプチャにも対応しているが，一度撮影してからのほうが編集がしやすかったとのこと。


　Perception Neuron Studioの利点は，ビデオ通話をしながら撮影ができること。そのため，ミーティング中にリアルタイムで撮影状況を確認し，フィードバックを受け，ミーティング後すぐデータを共有できる。今回は使用しなかったものの，「手だけ」といった部分ごとの撮影にも対応しているので，カットシーンにおける手のアップショットなど，部分的な演技にも活用できる。
　総じて，ユーザビリティと性能のバランスが良いツールであるというのが，Perception Neuron Studioの所感とのこと。


　続いて「おうち DE 動画キャプチャ」として，MediaPipeの例が紹介された。なるべく手軽にモーションキャプチャしたいという要望のもと，動画からモーションをキャプチャするアプローチを探り，MediaPipeへたどり着いたという。


　そのフローは，スマートフォンなどで動画を撮影し，MediaPipeで姿勢推定，座標データからモーションを作成。その後，先程と同じくモーション確認用のモデルにIKをリターゲットし，リグシステムに流し込む。


　MediaPipeを使用してみた所感は，キャプチャスーツの着用やマーカーの設置が不要で，非常に手軽だということ。アイデアを思いついた瞬間に撮影できるのが良かったという。


　最後に，mocopiの検証結果が紹介された。mocopiは専用のスマホアプリで収録が可能なため，スマホを手に持てばその場から移動しても収録できる。こうした仕組みは，かなり広い用途で活躍しそうだという。
　また，常に収録している状態を確認できるのが大きな利点で，空間を利用した移動系のアニメーション収録に向いていると感じたそうだ。


　最後には，「おうちDEモーションキャプチャ」をする利点として，やはり手軽であることが大きかったと語られた。イメージの変更調整があっても，すぐに収録して共有できる環境を自宅に用意できるというのは，今後への期待が高まる調査結果であり，モーションキャプチャ環境の選択肢が増えたとし，講演を締めくくった。

「FINAL FANTASY XVI」公式サイト

4Gamerの「CEDEC 2023」記事一覧