［CEDEC 2022］ゲームでの活用に注目したいソニーの先端技術。3Dデジタルデータの制作およびトラッキング技術とCGでの可視化が紹介されたセッションをレポート

　ゲーム開発者向けカンファレンス「CEDEC 2022」の初日（2022年8月23日），ソニーの先端技術を紹介する2つのセッションが行われた。

　1つめは「リアルとバーチャルを繋ぐ Volumetric Production Systemについて」と題されたセッションで，ソニーグループとして取り組んでいるVirtual Productionについて，とくにゲームや3DCGと親和性が高いというVolumetric Capture技術とその制作事例を紹介するというもの。

　もう1つは，「高精度・リアルタイムなトラッキング技術とCGによる可視化技術」で，ソニーのグループ会社「Hawk-Eye Innovations」（以下，ホークアイ）のトラッキングおよび，それをCGで可視化する技術にフォーカスしたセッションだ。「リアルとバーチャルを繋ぐ Volumetric Production Systemについて」を中心に，2つのセッションのレポートをお届けしたい。

■講演者：

• 増田 徹氏
ソニーグループ R&Dセンター 事業探索・技術戦略部門 事業探索グループ vTech課 空間映像プロダクションエキスパート

• 田中和治氏
ソニー・インタラクティブエンタテインメント フューチャーテクノロジーグループ ゲームサービスR&D部 VR推進室 テクニカルプロデューサー

• 齋藤亮太氏
ソニー・ミュージックレーベルズ 第2レーベルグループ キューンミュージック第一制作部 A&R/ディレクター

• 服部博憲氏
ソニー イメージングプロダクツ＆ソリューションズ事業本部 システム・ソフトウェア技術センター　ソフトウエア技術第3部門 イメージングクラウド開発1部2課 統括課長

「CEDEC 2022」公式サイト

4Gamer「CEDEC 2022」関連記事一覧

　「リアルとバーチャルを繋ぐ Volumetric Production Systemについて」では，まず最初に「そもそも，Volumetric Captureとはなにか」についての説明が行われた。
　Volumetric Captureとは，実在の空間とそこに存在する人や物を3Dデジタルデータとして取り込み，高品位に再現する技術のことだ。1台のカメラを使って平面でキャプチャするものと異なり，被写体を複数のカメラで取り囲むようにして動画を撮影し，それをCG化する。VR/MRやAR，立体ディスプレイ向けのコンテンツなどはもちろん，2Dコンテンツでの自由視点表現にも活用できる3Dモデルを作成できるという。


　CGモデリングとVolumetric Captureとの大きな違いとして，フォトリアルな表現が簡単なところが挙げられた。実在するものを動画として取り込むだけに，服がひらひらと揺れる様子や人や物の不規則な動き（セッションでは，例としてダブルダッチが挙げられた）などの再現が可能だという。

　取り込んだものを「そのままの表現」するのが得意な反面，モデルの編集（姿勢や形状，マテリアルなど）やライティングの変更が難しいという短所を持っている。リアルな再現には手間がかかるが，できたデータの再編集が容易で，かつ実在しないものを作ることが可能なCGモデリングとは長所も短所も正反対だ。ソニーは，どちらか一方を使うのではなく，お互いの苦手とするところを補い合うことで，コンテンツ制作の幅の広げられると考えている。

コンテンツの制作フローも紹介された

2022年7月には，ソニーPCLの清澄白河BASEの「VIRTUAL PRODUCTION STUDIO」隣接エリアにてVolumetric Capture用のスタジオがオープンした

　使用事例として紹介されたのが，2020年に制作されたVR作品「ミヅキ討魔伝 -五芒を継ぐもの-」だ。舞台で繰り広げられる剣戟アクションをVolumetric Capture技術を用いて撮影し，生の舞台とは違った迫力や臨場感を体験できる「剣劇×Volumetric×VR」コンテンツとして高い評価を得た。


　制作工程としては，シナリオ作成後に仮モデルとしてUnityを使ったシーン上にモデルやカメラを配置する。それに合わせて演技プランを作ってシナリオに反映し，それをまたシーンの上で再現するという形で，Volumetric Capture撮影前の準備を進めていった。

　続いて撮影で制作したVolumetricデータをもとに，CG武器やエフェクトのデータを作成する。それとは別で制作した背景をUnity Timelineに載せ，さらにBGMやボイスなどの音声データ，本番用に仕上げたVolumetricデータを加えて完成させていった。


　ユーザーの目の前でダイナミックなアクションが展開する作品にしたいという目標を実現するため，ワンシーンごとに撮影の始点や終点，カット割り，さらに目線など，細かいところまでチェックし，Volumetric Captureの撮影に挑んだとのこと。


　Volumetric Captureの技術によって生み出された風の表現やVFXに，既存の舞台にはない背景の表現やエフェクトをCGで組み合わせ，さらに高速斬撃や分身などの攻撃表現を実現した本作。VRならではの距離感による「目の前での演技と体感」は高く評価され，「文化庁メディア芸術祭 第25回エンターテインメント部門 新人賞」や「ルミエール・ジャパン・アワード 2020 VR部門グランプリ」を受賞した。
　ソニーにとっては，好評価を得られただけではなく，Volumetric Captureの有効性を確認できた結果となったようだ。

ルミエール・ジャパン・アワードは国内で制作・公開された先進映像コンテンツを表彰し、良質なコンテンツの拡大と品質向上を目指す活動です✨

動画で、ミヅキ討魔伝のテクノロジーによる迫力ある戦闘シーンを体感しよう!

▼ルミエール・ジャパン・アワード 詳細https://t.co/GXmsIHKUXH#ミライSony pic.twitter.com/dpBIXezgoe

— Sony Group - Japan (@SonyGroup_JP) November 18, 2020

ほかにも特撮テレビドラマ「リズスタ -Top of Artists!」の変身/勝利バンクやアーティストの中島美嘉さんの楽曲「Delusion」のミュージックビデオ，仮想空間でさまざまなアーティストのライブが楽しめるプロジェクト「ReVers3:x」（リバースクロス）の制作事例が紹介された

　2つめの「高精度・リアルタイムなトラッキング技術とCGによる可視化技術」では，テニスのライン判定に使用される「ELC: Electronic Line Calling」や，FIFAおよび海外の主要なプロサッカーリーグで公式採用されたゴール判定システム「GLT: Goal line Technology」など，スポーツ界に革新を起こしつつあるホークアイの新たな挑戦が紹介された。

さらに「Hawk-Eye Live」という，テニスの新たな判定システムを制作。それらのコア技術も簡単に紹介された

　それが「SkeleTRACK」と「HawkVISION」だ。「SkeleTRACK」は，選手やボールの動きを高精度かつリアルタイムにトラッキングする技術で，「HawkVISION」は得られたトラッキングデータを活用し，CGでプレーを可視化する技術となる。ゴール判定やパフォーマンス分析といったスポーツ分野だけでなく，ゲームやエンターテインメントコンテンツへの応用を考えているという。
　ゆくゆくは，こうしたフィジカルとバーチャルをシームレスにつなぐ技術を使ってすべてのパフォーマンスをデータ化し，メタバースで活用することを目指しているという。

「CEDEC 2022」公式サイト

4Gamer「CEDEC 2022」関連記事一覧