Access Accepted第590回：Oculusの考える新たなVRの姿

　「Oculus Quest」を発表し，「Oculus Rift」と「Oculus Go」とわせて3本柱を完成させたFacebook。これまでも，プロトタイプ機や試作モデルを頻繁に公開するなど，常にオープンな姿勢を見せてきたOculus VRだが，中でもチーフサイエンティストを務めるマイケル・アブラッシュ氏は，多くの開発者やユーザーが夢見るVRの未来について語ってくれる人物でもある。今回は，そんなアブラッシュ氏の新たなVR技術について紹介していこう。

北米VR業界きってのフューチャリストが自己検証

　北米時間の2018年9月26日と27日，カリフォルニア州サンノゼのSan Jose Convention Centerで，Oculus VRのカンファレンス「Oculus Connect 5」が開催された。2019年春に発売される予定の新型VR対応ヘッドマウントディスプレイ「Oculus Quest」の発表と試遊が行われたことは，9月27日に掲載したイベントレポートでお伝えしたとおり。フロントの四隅にあるインサイド・アウト方式の最新センサーによって周囲の環境をスキャンしながら，0.001秒間隔でユーザーの頭部の位置を測定することで，正確な6DoF（6軸自由度）のトラッキングを実現している。

ワイヤレスで，コードもバッテリーパックもないスタンドアロンの一体型VRデバイスとして，2019年の発売が予定されている「Oculus Quest」。価格は399ドルと意欲的で，新型Touchコントローラも付属するという

　こうした技術革新によって，テニスコート2面分はあろうかという大きなスペースで，外部センサーや接続コードなどを気にすることなく動き回れるVR体験が可能になり，これまでのVRの標準だった「ルームスケール」がさらに押し進められた「アリーナスケール」が，現実のものになりつつある。
　公開された「Dead and Buried Arena」や「Tennis Scramble」などのデモの様子もすでに紹介しているので，この次世代のVRデバイスが気になる人は，合わせてチェックしてほしい。

公開されていた「Tennis Scramble」デモの様子。少しぐらい走り回っても，「Oculus Quest」が外れそうになる感覚はなかった

　イベント初日の基調講演に立ったのは，Oculus VRを傘下に収めるFacebook CEOのマーク・ザッカーバーグ（Mark Zuckerberg）氏だったが，Oculus VRからはチーフサイエンティストという役職にあるマイケル・アブラッシュ（Michael Abrash）氏が登壇した。

Oculus VRでチーフ・サイエンティストを務めるマイケル・アブラッシュ氏

　アブラッシュ氏については，本連載をお読みの読者なら説明の必要もないだろう。1990年代に「Zen of Assembly Language」や「Zen of Graphic Programming」などの名著を上梓したテクニカルライターで，現在Oculus VRに在籍するジョン・カーマック（John Carmack）氏に誘われる形で「Quake」の開発に参加するなど，古くから3Dグラフィックスの第一線で活躍してきた伝説的な人物だ。Valve時代には「Vive」の基本技術の開発に携わるなど，VRのソフトウェア面の進化に深く関与してきた人物でもある。

　そんなアブラッシュ氏が，「5年後のVRテクノロジー」について語ったのは，「Oculus Rift」などのVRデバイスがリリースされ，“VR元年”などとも呼ばれた2016年の，「Oculus Connect 3」でのことだった。詳細については，本連載の第514回「Oculusの語る5年後のVR技術」で紹介したとおりだが，「Oculus Connect 5」でアブラッシュ氏は，2年前に語った「5年後のVRテクノロジー」を振り返り，それがどれだけ正しく，どれだけ間違っていたのかを，「光学＆ディスプレイ」「グラフィックス」「アイトラッキング」「オーディオ」「インタラクション」「エルゴノミクス」，そして「コンピュータビジョン」という7つの要素に分けて自己検証した。

「Oculus Connect 5」公式サイト

「未来は明る過ぎて，Riftでも着けなきゃどうしようもない」（アブラッシュ氏）

　アブラッシュ氏自身は，「フューチャリスト」を名乗っているわけではないが，VRという新しい技術の未来を語るとき，それを広い視野から考え，我々に的確に見せてくれる人物は彼以外にそうはおらず，まさに稀代のフューチャリストと呼んでいいだろう。
　アブラッシュ氏は，「2年前の予想の一部分は外れ，一部は予想を上回るスピードで実現したが，いずれにせよVRデバイスの未来は非常に明るい」と話し，この2年間に蓄積した経験から「4年後」の2022年にVRデバイスの大きなブレイクスルーが起き得るという。では，アブラッシュ氏が挙げた7項目を個別に見ていこう。


●光学＆ディスプレイ

　2016年の段階でアブラッシュ氏は「5年後の光学＆ディスプレイ」について，「パネル解像度は4K×4Kで，ピクセル密度は1°あたり最大で30ピクセル，視野角は最大140°。そして，現在は固定されている焦点深度（Depth of focus）が調整可能になる」と予想していた。

　5月に開催された「Facebook Developer Conference」で公開された次々世代のVRデバイス，「Half Dome」（関連記事）は，開発中のプロトタイプとはいえ，視野角と焦点深度の調整はすでに実現している。
　一方で，「解像度については，RiftとHalf-Domeはほぼ変わらない」と述べており，パネル面での進化はあまりないようだが，「2年前には予想もしていないことだったが，焦点深度のアルゴリズムは開発が進んでおり，数か月後にはさらにリアリティの高い焦点深度を可能にする，AI使ったソフトウェア技術“Deepfocus”についての論文を発表できる予定だ」と述べた。

AIにより，Deepfocusで前面だけに焦点を調整

同じく，Deepfocusで背景に焦点を調整

　また，アブラッシュ氏は光学技術について，この2年間で2つの革新があったと述べた。
　その1つが「パンケーキレンズ」（Pancake Lens）で，現在の「Oculus Rift」などで使用されているフレネルレンズ（Fresnel Lens）とは異なる，丸みのない平べったいレンズだ。パンケーキレンズは偏光（ポラライゼーション）で光を集めることができるために，ヘッドセットの小型化に向いており，高解像度でもシャープなイメージが実現でき，200°までの視野角にも対応するという。
　現行の技術では小型化と広視野角を両立するのが難しいようだが，アブラッシュ氏は「小型化と広視野角なら，広視野角を選ぶでしょう」と述べて，おそらく「Half Dome」以降の製品に採用されるはずのパンケーキレンズに期待を寄せた。

パンケーキレンズの特徴を示したもの

　もう1つの技術革新が「ウェーブガイド」（Waveguides/導波管）で，一般的にはマイクロ波の伝達を行う中空の管を指すが，ここでは，極薄のガラス板の間で光を反射させるディスプレイ技術の一種であるとのこと。AIを使うことで，光を調節する技術が急速な進化を見せており，サングラスのような小型デバイスに取り付けることも可能になる。何年先になるのかは分からないが，アブラッシュ氏はウェーブガイドを使ったデバイスのコンセプトアートを紹介しており，すでに具現化に向けた研究が進められているようだった。

まだプロトタイプにもなっていないので，製品化されるまでに10年くらいかかるかもしれないが，VRとARが融合しつつ，ウェーブガイド技術によって，いずれはこのくらいの大きさに進化するかもしれない

●グラフィックス/アイトラッキング

　2016年に「5年後，フォビエイテッドレンダリングはVR技術の中心的な存在になっている」と語ったアブラッシュ氏（関連記事）だが，当時はピクセル処理をどのように行っていいのか，見当もつかなかったと語る。しかし，ディープラーニング（Deep Learning/深層学習）の発展に伴ってアルゴリズムの開発に一定の目途が付いたとし，モックアップと思われる映像を公開した。

　人間の目は，「中心窩」（Fovia）と呼ばれる網膜の黄斑部の中心に位置するくぼみから3°離れると，映像がぼやけるという特徴があり，これを疑似的に表現するのがフォビエイテッドレンダリングだ。中心視野の部分にだけ密度の高い表現を行い，視野の端に行くにつれて解像度を下げることで，レンダリング処理を速くすることができる。
　アブラッシュ氏は，イメージの95％を少ないピクセルで表現するようなシステムを開発中であることを示唆し，4年後には成果を見せることができると確信しているようだった。
　原理上，フォビエイテッドレンダリングをVRで行うためには高度なアイトラッキング技術が必要になるが，これについては「Half Domeで実現している」と話し，商品化を念頭に試作されている同プロトタイプ機には，彼を納得させるだけのアイトラッキング技術が搭載済みであることを示している。

4K解像度によるオリジナルイメージ

「中心窩」（Fovia）でフォーカスされている地点から離れた95％のイメージを取り払った場合

ディープラーニングの応用により，フォーカスされていない部分のイメージを再生した場合。ピクセル数は1/120程度ですむという

●オーディオ

　HRTF（頭部伝達関数）とは，耳殻，頭，および肩など周辺のオブジェクトの反響によって生じる，音の変化を関数として表現したものだ。
　オーディオの専門家でもない限り，「HRTFを，ステレオ技術をいじったものくらいにしか考えていない，自分のような人は多いはず」と話すアブラッシュ氏。今回のイベントに先立つ数週間前，特殊な開放型のヘッドフォンを付けて目をつぶり，カセットレコーダーから音楽を鳴らした研究者が周囲を移動するのに対して，その方向を指さす実験をOculus社内で行ったという。

　ところが，実際にはカセットレコーダーから音は出ておらず，移動する研究者の位置を測定しつつ，コンピュータ内で処理された音をアブラッシュ氏に聞かせていただけだったという。そのため，たとえアブラッシュ氏が薄目を開けていたとしても同じ結果になったはずだが，「パーソナライズされたHRTFによる，“オーディオプレゼンス”は現実に存在している」とアブラッシュ氏は語った。
　パーソナライズのために30分間にわたる耳や頭のスキャニングを行う必要などがあるため，商品化にはまだかなり時間がかかりそうだが，「2016年の5年後（つまり3年後の2021年）に実現するかもしれないし，もっと時間が掛かる可能性もある」とアブラッシュ氏は述べた。

HRTFの研究所内でのテスト。実験が終わるまでカセットレコーダーから音が鳴っていないことに気づかなかったと語り，これを“オーディオ・プレゼンス”と呼んでいた

●インタラクション

　アブラッシュ氏は，「2年前に予想したとおり，Touchコントローラの精度は非常に高く，これを超えるものがあるとしたら，指の動きを認識できるトラッキング技術だろう」と語ったが，これについてもOculusで実験が行われているという。
　「1本1本の指をVR世界で動かせた瞬間，初めてVRヘッドセットを付けたときほどの感動を呼び起こす」とアブラッシュ氏は言うが，製品にできるほどの段階にはなく，「これまで私が行ったことのないほどの長期的展望であり，10年ほどすれば実現できるかもしれない」ものだと述べていた。

5月に行われた「Facebook Developer Conference」でも映像が公開されていたが，写真の人物が装着しているデバイスの大きさや周囲の無数のセンサーから見ても，指の精密な動きを感知できる日はかなり先のことになるようだ

●エルゴノミクス

　「Oculus Go」や発売予定の「Oculus Quest」でワイヤレス化が実現する中，話題になってくるのが，“デバイスの形状”だという。アブラッシュ氏は，「センサーのカメラが捉えた映像でも，現実の映像でも，外の世界を見るのに違いはない」とし，VRとARがMRに融合する未来を予想した。

　VRデバイスはピクセルレベルで映像をコントロールできるが，軽量化には時間がかかり，VRヘッドセットを着用したまま外を歩くことは当分できそうもない。ARデバイスは現実世界にテクスチャーや文字をブレンドするという限界を超えられないが，軽量化が進んで，持ち歩きに適したデバイスに進化していく。アブラッシュ氏は，やがてはVRとARのどちらにも対応できるMRに進化していく可能性を示唆した。

アブラッシュ氏は，いずれVRとARが融合すると予想する

●コンピュータビジョン

最後の項目である「コンピュータビジョン」だが，2年前の「リアルアバター」と比較して，驚くほどの進化を見せているというアブラッシュ氏。以下のスライドでは右がレンダリングされた人物だが，ぱっと見にはどちらが本物か分からない。


　「Facebook Developer Conference」では，他企業とAIデータを共有する「PyTorch」を発表し，Googleとの連携を示唆した。「Oculus Connect 5」終了後の10月初め，両社は正式にAI開発ついてのパートナーシップ契約を結んでいる。
　GoogleのクラウドTPU（Tensor-Processing Units）は，ディープラーニングなどで必要となる膨大なデータの処理について，GPUよりはるかに効率が良く，この協力はAIの進化を急速に押し進めていくはずだ。
　AI技術がVRやAR，MRのアルゴリズム開発にも恩恵をもたらしているのは，アブラッシュ氏が語ったとおりで，Oculusを初めとするVRの開発現場もまた加速度的に進化していくだろう。

　Sony Interactive Entertainmentの「PlayStation VR」，Valveの「Vive」，Googleの「Daydream」，Microsoftの「HoloLens」，さらにMagic Leapの「Magic Leap One」など，この分野にはビッグプレイヤーが名前を連ねるが，中でもOculusは，現状や目標をオープンに語りつつ，未来に向かっているようだ。野心的な価格設定で市場に挑む「Oculus Quest」が“マストハブ”なハードウェアになるかどうかは未知数だが，アブラッシュ氏の語る4年後，そして10年後を見すえた技術からは目が離せない。

著者紹介：奥谷海人
　4Gamer海外特派員。サンフランシスコ在住のゲームジャーナリストで，本連載「奥谷海人のAccess Accepted」は，2004年の開始以来，4Gamerで最も長く続く連載記事。欧米ゲーム業界に知り合いも多く，またゲームイベントの取材などを通じて，欧米ゲーム業界の“今”をウォッチし続けている。

来週の「奥谷海人のAccess Accepted」は，著者取材のため休載します。
次回の掲載は10月29日を予定しています。