HDR表現が可能なレーザープロジェクタから超音波で毛皮に絵を描くシステムまで。SIGGRAPH 2014で見た斬新なディスプレイ技術

　SIGGRAPH恒例の先端技術展示会場「Emerging Technologies」（以下，E-TECH）。筆者によるSIGGRAPH 2014レポートでは，NVIDIAのAR技術と，仮想現実（VR）関連技術についてレポートしている。今回は，会場で披露されていた斬新なディスプレイ技術――中にはディスプレイとは言い難いものも含まれるが――にスポットをあててレポートしよう。実用化が期待されるものから，実用性よりもアートっぽさ重視に見える技術まで，さまざまなもの登場するのでお楽しみいただきたい。

［SIGGRAPH 2014］Oculus Riftと一緒に装着して鳥になる「鳥人間スーツ」が大ウケ。先端技術展示会「Emerging Technologies」レポート Part1

HDR表現が可能なレーザープロジェクタ

High-Brightness Projection for True HDR

　液晶プロジェクタやDLPといったプロジェクタは，光源ランプからの光を液晶パネルやマイクロミラーにより画素単位で制御して遮る（絞る，捨てる）ことで，映像を表現している。だがこの仕組みでは，ランプから投射される光のすべてが，表示に有効利用されるわけではない。たとえば，画面のほとんどを黒く表示するような場合，ランプからの光は表示されることなく捨てられてしまう。

液晶プロジェクタは，光を画素で遮ることで映像を作り出している

　「光を画素単位で制御して表示する」という基本は，一般的な液晶ディスプレイや液晶テレビでも同じで，大抵は液晶パネルの側面部分に配置したLEDバックライトの光を，導光板で画面全体に広げることで画素を裏から照らしている。
　しかし，高画質を謳うハイエンドの液晶テレビでは，LEDバックライトを液晶パネル直下に複数配置して，映像の明るい部分を表示するLEDは明るく，暗い部分に当たるLEDは暗くするという「エリア駆動」（ローカルディミングとも）を採用する製品も珍しくない。だが，プロジェクタの場合，光源には点光源的に光る超高圧水銀ランプを使うものが一般的であり，エリア駆動の仕組みを取り入れるのは困難だ。光源が1つしかないのだから当然だろう。

MTT Innovationのブース

　そんな制約のあるプロジェクタでエリア駆動を実現するソリューションを展示していたのが，カナダ・ブリティッシュコロンビア大学の研究グループが興したベンチャー企業，MTT Innovation（以下，MTT）である。

　MTTが開発したのは，反射型液晶デバイス（LCOS）を用いた「Light Redistributioning Modulator」（光再分配モジュレータ）というデバイスで，光源となるレーザーダイオードからの光を，任意の部分に分配する光学系を実現しているという。残念ながら，仕組みの詳細な説明はできないとのことであったが，光の振幅や位相を空間的に変換できる「Spatial Light Modulator」（SLM，以下，空間光変調器）の技術を応用したものではないだろうか。
　下に掲載した動画は，SIGGRAPHで公開された光再分配モジュレータの解説動画である。興味のある人は見てみるといいだろう。


　さて，光再分配モジュレータを使うと，映像の暗部を表示するときには，そこに光を送らず，明部にのみ光を送って表示するということが可能になる。既存のプロジェクタが，光源から放たれる光の多く――つまり電力――を無駄にしていたのに対して，MTTのシステムで作ったプロジェクタならば，暗部には光を送らず明部に集中させることで，劇的に光の利用効率を向上させられるというわけだ。

「光再分配モジュレータ」を使うと，映像の明暗に応じた光分布で液晶パネルに光を当てられる。液晶テレビのエリア駆動と似たようなことが可能となるのだ

　このシステムによるプロジェクタは，有機ELディスプレイのような自発光ディスプレイパネル並みのコントラスト比を実現できると，同社の説明員はアピールしていた。SIGGRAPH 2014で発表した値では，光源の輝度に関わらずコントラスト比は10万：1，ピーク輝度では従来方式と比較して20倍以上の明るさが確保できるとのこと。MTTではこうした特性を生かして，このシステムを「ハイダイナミックレンジプロジェクションシステム」として訴求している。

デモルームの写真。右下にあるのがMTTの試作プロジェクタだ。光源は出力2Wのレーザーで，レーザー光を拡散板で面光源に変換しているとのこと

　現在の光再分配モジュレータは，映像を事前に解析して駆動に必要なデータを計算しておき，それをもとにソフトウェアで動作させる仕組みになっているという。映像再生時は，表示に同期して1フレームごとに駆動データを読み出しながら，光再分配モジュレータを駆動させている。
　ただし，これは試作レベルのシステムだからだそうで，将来的には入力映像をリアルタイムに解析してハードウェアで駆動できるシステムにしていきたいと担当者は述べていた。

写真上側がMTT製の試作プロジェクタの映像で，下側は従来方式のプロジェクタの映像。光源ランプの輝度はどちらも同じだが，MTTのほうが明るくコントラストも良好だ。単色なのは試作機であるため

　また，MTTのシステムでは光学経路がやや複雑になるという課題があり，プロジェクタシステムのサイズは，既存のプロジェクタよりも大きくなってしまう。そのため，この技術は当面の間，映画館や会議場で使われる大型の業務用プロジェクタで使われる見通しになっているそうだ。
　「なるべく光を捨てない」このシステムは，映像の画質向上に役立つだけでなく，消費電力が大きくなりがちなプロジェクタの省電力化にもつながるものであり，今後の発展に期待したい。

超音波で物を浮かせて立体物を表現？

東京大学の落合陽一氏による新作「Pixie Dust」

　E-TECHの常連で，ユニークかつ斬新な研究を披露して毎年のように注目されているのが，東京大学の落合陽一氏だ。2014年は，「Pixie Dust」と称する不思議な技術を出展して，来場者の注目を集めていた。

Pixie Dustのデモ機。写真に写っている白い点のようなものが，空中に浮くマイクロビーズだ

　ブースに置かれていた，なんとも形容しがたい装置の上で，ぬいぐるみやクッションの中に入っている「マイクロビーズ」が空中に浮いている。「糸で吊っているのかな？」と，浮いているマイクロビーズの周辺を触ってみるのだが，何もない。

　種明かしをしてしまうと，マイクロビーズは超音波によって浮いているのだという。ある周波数の音波（超音波も含む）を向かい合わせて，互いの波形が重なり合うように照射してやると，本来ならば動いているはずの波が，空間的に静止したようにその場で振動しているような「定常波」（定在波）が発生する。
　この定常波では，特定周期でまったく振動しない特異点（Acoustic-Potential Field，APF）が周期的に発生するという。そこで，上と下から音波を発して定常波を作り出すと，特異点は力学的に静止安定した状態になるため，ここに軽い物を置くと宙に浮くというわけだ。

　そして，定常波を作り出す超音波発生装置を平面上で格子状（マトリクス）になるよう配置すれば，特異点で構成された空中の2次元平面に物体を浮かせることが可能となる。今回発表された落合氏の研究は，このマトリクス型超音波発生装置を4方向から照射するように配置することで，3次元的に物体を浮かしたり，任意に動かしたりできるというものだった。

Pixie Dustに使われた，17×17ユニットからなるマトリクス型超音波発生装置。この装置は名古屋工業大学の星 貴之氏が開発したものだ（関連リンク）

Pixie Dustの解説動画より。4方向に配置したマトリクス型超音波発生装置から超音波を発すると，任意の位置に特異点（Focal point）を発生させられる

　落合氏は現在，「新しいグラフィックス技術とその表現の開拓」に注力しているそうで，今回の披露されたPixie Dustも，この技術をディスプレイ装置として応用したものである。デモでは，宙に浮かせたマイクロビーズをボクセルとして表現したり，そこに映像を投影してプロジェクションマッピング的な表現を披露していた。
　デモの様子を動画で掲載しておこう。

デモシステムの中央にマイクロビーズを振りかけて空中に浮かせる（左）。照明を消してプロジェクタから映像を投影すると，宙に浮かぶマイクロビーズがスクリーンになるという仕掛けだ（右）

　特異点をコンピュータで自在に制御することで，浮かせた物体を整列させたり移動させたりする技術を，落合氏は「Computational Potential Field」（CPF）と命名している。
　CPFでは，無数のマイクロビーズで任意の立体形状を作り出したり，それを動かしたりできるという。現時点では，各マイクロビーズは上下左右に10cm程度の移動が可能で，移動速度は72cm/秒程度ということだ。

デモで使われていたマイクロビーズ。浮かせるものはこれに限らず，液体でも浮かせることは可能だという

　浮かせられる物体は，マイクロビーズに限らない。上に掲載した動画では，小さな抵抗器やLEDを浮かせているし，水滴のような少量の液体を浮かせることも可能である。落合氏によれば，雨で3Dオブジェクトを表現する立体アートも，技術的には実現可能だろうと述べていた。

　浮かせる物体の重さも超音波の出力次第で変えられるので，出力を上げればマイクロビーズなどより重い物を浮かべることだってできる。むしろ課題となるのは，浮かせる対象物の大きさだという。現在は，周波数40kHzの超音波で直径4mm程度，25kHzなら約1cm程度の物が浮かせられるそうだ。この技術で人間を空中浮遊させるというのは，難しいだろうとのことだった。

映画館での多視点裸眼立体視が可能に？

A Compressive Light Field Projection System

MIT Media LabのMatthew Hirsch氏

　流行りは過ぎたように思われているが，現在販売されているハイエンドクラスのテレビは，3D立体視に対応する製品がほとんどで，3D立体視の映画を上映する映画館も少なくない。3D立体視はそれなりに定着しつつあるソリューションだ。
　その3D立体視をさらに拡張しようという試みの1つが，SIGGRAPH 2014に出展されていた。研究に取り組んでいるのは，マサチューセッツ工科大学の「MIT Media Lab」（以下，Media Lab）に所属するMatthew Hirsch氏らによる研究チームである。

　Hirsch氏のチームは，2012年に多視点対応のライトフィールドディスプレイ技術「Tensor Display」をSIGGRAPH 2012で発表した（当該記事）。そして，同チームがSIGGRAPH 2014で発表したのが，Tensor Displayのプロジェクタ版「A Compressive Light Field Projection System」である。


　これまでの裸眼立体視テレビでは，レンチキュラーレンズシートや視差マスクといった技術が採用されていた。しかし，液晶パネルをディスプレイに使うという仕組みである以上，画面サイズには常識的な上限が存在した。映画館で使うスクリーンのように400インチを超えるようなディスプレイを液晶パネルで作るのは，コストを度外視すれば不可能ではないものの，現実的ではない。

　大画面に映像を表示する用途には，やはりプロジェクタが費用対効果で優秀なソリューションだ。裸眼立体視をプロジェクタで実現する場合，再現したい視点の数だけプロジェクタを用意したうえで，拡散板とレンチキュラーレンズシートを組み合わせた特殊スクリーンに投影するシステムがよく用いられる。
　この手法については，SIGGRAPH 2013のE-TECHで南カリフォルニア大学の研究グループが展示を披露していた。見る位置を変えると，プロジェクタから投影された映像がその位置から見た立体像として視覚できるのが，この技術の重要なところだ。

　Hirsch氏らのアプローチは，多視点立体視をプロジェクタで実現するという目標こそ南カリフォルニア大学と同じだが，それを1台のプロジェクタで実現しようというのが特徴である。
　研究グループが開発した試作プロジェクタでは，2枚の反射型液晶（LCOS）デバイスで構成される空間光変調器を使って，多視点立体映像を生成する。立体映像の生成手法は時分割法を応用したもので，Tensor Displayと基本概念は同じだ。
　空間光変調器に使うLCOSデバイスは，Silicon Micro Display製の「ST1080」。このLCOSデバイスを4倍速の240Hzで駆動させて，多視点立体映像を作り出している。

Hirsch氏のチームが制作したデモシステムの全体。左がプロジェクタで，右がスクリーン

LCOSデバイスを使った空間光変調器。これを2枚使って多視点立体像を作り出す

プロジェクタを前後から。光源は出力10WのLEDライトとのこと

　Hirsch氏のチームによるシステムでは，映像を投影するスクリーンにも秘密がある。

A Compressive Light Field Projection Systemの光学的な概要。スクリーンが2枚のレンチキュラーレンズシートで構成されているのが分かる

　プロジェクタ側で生成された多視点立体映像を普通の拡散系スクリーンに投影しただけでは，視点の位置を変えたときに，その位置で見た映像に見えない。そのため，異なる視点の位置に応じた映像が見えるように，レンチキュラーレンズベースのスクリーンを用いるのだが，ここに独自の工夫がある。
　Hirsch氏のチームが作ったスクリーンは，レンズ直径の異なる2枚のレンチキュラーレンズシートを貼り合わせているのだという。異なる径のレンズを組み合わせると像が拡大される効果がある。これは，ケプラー式望遠鏡の原理として知られる光学技術の基本だが，その技術をスクリーン側に応用することで，多視点立体映像を正しい映像として見られる角度を広げているのだ。

スクリーンの全景（左）。右写真は，異なるレンズ径のレンチキュラーレンズシートを2枚重ねたスクリーン部材のサンプル。レーザーポインターを動かしながら照射すると，入射角度に対して出射角度が数倍に拡大していることが確認できた

　こうしてHirsch氏のチームが作ったシステムは，スクリーン側で視角（視野角ではなく視角）を広げることにより，従来なら複数プロジェクタを同心円状に並べなくては実現できなかった多視点立体映像を1台のプロジェクタからの投影で実現した。現在は，この特殊スクリーンによって，25視点分の映像を約20度くらいにまで表示できているという。

スクリーンに投影された映像を，左右に位置を変えて撮影してみた。デモシステムは白黒映像だが，もちろん原理上はカラー映像も表示できる

　今回披露されていたデモは，まだ初期のプロトタイプであった。そのため映像は白黒限定で，しかも設置スペースの制約もあるため，スクリーンサイズはわずか10インチ台にすぎない。1視点あたりの映像解像度も426×720ピクセル（※ピクセルは長方形）で，あくまでもシステムの原理を示すだけのものだった。
　いつの日か，映画館でこのシステムを使った3D映画が上映されることを期待したい。

毛並みで絵を描く毛皮ディスプレイ？

Graffiti Fur

　毛皮のソファやカーペットの表面を指でなぞると，毛並みの向きが変化することで陰影も変わって簡単な絵や文字が書ける。子供の頃にやってみたことがある人もいるだろう。
　この現象をコンピュータで扱い，毛皮をディスプレイに見立ててCGを描いてしまおうというのが，ここで紹介する「Graffiti Fur」だ。開発したのは，慶應義塾大学大学院メディアデザイン研究科の杉浦裕太氏らによる研究チームである。


　SIGGRAPHで展示されていたのは，手動で操作するハンドローラータイプと，ロボット掃除機を改造して製作された自動制御タイプ，そして超音波を使った非接触タイプの3種類。

　1つめのハンドローラータイプは，コンピュータに入力したドット絵風のCGを，毛皮の表面に描くものだ。ユーザーがローラーを毛皮に押さえつけながら横に引くと，ローラー部分にある爪がサーボモーター制御で毛皮をひっかいて毛羽立たせるという仕組みである。ローラーをどのくらい動かしたかは，ローラーに取り付けられたロータリーエンコーダというセンサーで取得するのだという。


　ハンドローラーに内蔵された爪は16個なので，一度のスライドで描けるのは，縦解像度16ドット分まで。それよりも大きな絵を描く場合は，ガイドマーカーを端に描き，それに合わせてハンドローラーの位置を変えながら描いていくので，ちょっと手間がかかる。

ハンドローラータイプの裏面（左）。ローラー部分に並ぶ黒いものがサーボモーターで，その横に取り付けられた白いパーツが，毛並みの向きを変える可動爪だ。試しに「4gamer」とドット絵を描いてもらったが，読み取れるだろうか？

　2つめのロボット掃除機タイプは，ハンドローラータイプに自走機能を持たせた発展型ともいえるものだ。ロボット掃除機の移動能力を活用して，PCから描画位置を制御して描いていく。要は，人手の代わりにロボット掃除機を使っているわけだ。
　ロボット掃除機の天板部にはマーカーが貼り付けられており，デモステージの上に設置されたカメラがそれを追跡することで，ロボットの現在位置をシステム側が把握して，任意の位置に誘導する仕組みとなっている。大判のドット絵を描くときも，手作業でローラーをマーカーの位置に合わせる必要はない。

ロボット掃除機の天板にはマーカーが貼り付けてある（左）。これをステージの上に設置されたカメラ（右）で捉えて，ホストPCがロボット掃除機の位置を検出する

超音波で毛皮に絵を描くデモの様子。写真右下に見えるタブレットに描かれたイカの絵が，写真上側の毛皮に描かれている

　3つめの超音波タイプは，Pixel Dustでも使われていた名古屋工業大学の星 貴之氏が開発した超音波発生装置を応用している。Pixel Dustではマイクロビーズを宙に浮かせるのに使っていた超音波の力学的エネルギーを，Graffiti Furでは毛皮をひっかくのに使うというわけだ。
　ハンドローラータイプやロボット掃除機タイプは，シンプルなドット絵パターンを描くだけだったが，超音波タイプはそれと異なり，ペン入力でホストPCに取り込んだ線を超音波ビームで毛皮上に描き出す仕組みとなっている。ちなみに，超音波ビームの描画が一回だけだと，元に戻ろうとする毛皮の力に負ける部分も出てくるため，複数回上書きするように制御しているとのことだった。


　さて，「毛皮ディスプレイ」とでもいうべきGraffiti Furは，いったい何に使えるのだろうか。
　筆頭研究者の杉浦裕太氏は，「たとえば，ホテルのロビーにあるタペストリーや部屋のカーペットに，顧客に向けたウェルカムメッセージを描くのに使ったら面白そうだ」と話していた。たしかに，Graffiti Furならば，毛並みを平らに馴らせば描いたものを消してしまえるし，描かれた物の機能や耐久性に悪影響を与えない。
　目を引くという点では，サイネージ的にも使えそうだ。規模を大きくして，サッカー場やゴルフ場の芝に，広告を描くといった用途にも使えるかもしれない。

裸眼立体視が可能なスリットディスプレイ

Slit-Based Light-Field 3D Display

　「マルチスリット視」という現象を応用したディスプレイデバイスを知っているだろうか。「知らない」という人のほうが多いだろうが，実際にはそれとは知らないうちに，目にしていることはあるかもしれない。
　縦方向のライン表示しかできないディスプレイを一定間隔で横に並べて，横スクロールするように絵や文字を表示してやると，スクロール速度に合わせて目で追うことで絵や文字を正常に視認できるというアレだ。
　電車のトンネル内で広告表示に使われたり，踏切や渋滞が頻発する道路，工事現場などで警告表示に使われたりと，乗り物に乗っている人に情報を示す用途で使われることの多いディスプレイデバイスである。

　大阪大学大学院情報科学研究科の安藤英由樹氏らの研究グループが開発した「Slit-Based Light-Field 3D Display」は，このマルチスリット視型ディスプレイデバイスを裸眼立体視に適応させたものだ。デモの動画が公開されているので見てほしい。

表示部を構成するシリンダー。幅0.3mmのスリットが開けられており，その中には縦方向に64ピクセル分のRGB LEDが並ぶ

　通常のマルチスリット視型ディスプレイとは異なり，Slit-Based Light-Field 3D Displayでは，筒状の表示部（シリンダー）が1秒間に10回転する仕組みとなっている。
　マルチスリット視型ディスプレイでは必須のライン状に並べられたLEDアレイは，この回転するシリンダーの内側に取り付けられており，その光はシリンダー外壁の縦方向に開けられた幅0.3mmのスリットから漏れるように見えるようになっていた。展示されていたデモ機は，24本のシリンダーで構成されている。

デモシステムは24本のシリンダーで構成。映像を表示している最中なのだが，マルチスリット視型ディスプレイは写真を撮っても映像が見えない

各シリンダーは，底部に取り付けられたモーターで秒間10回転の速さで回る。ちなみに，シリンダーそのものはプラスチック製の水道管だ

　各シリンダーの内部には，「ロータリーエンコーダ」という回転計測用センサーが内蔵されており，ホストPCは，回転するシリンダーのスリットがどの方向を向いているかを常に把握できるという。その情報をもとにして，スリットの延長線上にいる観測者に見せたい映像をリアルタイムに表示することで，各方向に向けて時分割で映像を表示するマルチスリット視型ディスプレイを実現しているわけだ。

　SIGGRAPHで披露されたデモシステムは，正面方向90度の範囲に対して，32方向の映像を作り出せるという。つまり，約2.8度単位（≒90度÷32方向）ごとに，視差の異なる映像を表示する能力――角度分解能とでも呼ぼう――がある。
　この角度分解能で視差表現ができると，観測者の右目と左目に異なる映像を見せられるので，それを利用して裸眼立体視を可能としているのがSlit-Based Light-Field 3D Displayの原理なのだ。
　シリンダー1本あたりの縦解像度は64ピクセルで，32視点中の1視点あたりの横解像度は6ピクセルとのこと。ちなみに，先に掲載した解説動画では，シリンダー上の縦スリットは1本しかないように見えるが，実機では開口率を上げるために，スリットは4方向に開けられている。

　筆者もデモを見てみたが，なんとも不思議な感覚にとらわれた。交通情報で見慣れているマルチスリット視型ディスプレイで，裸眼立体視ができているのがとても新鮮だったのだ。
　Slit-Based Light-Field 3D Displayでは，表示装置たる各シリンダーのスリット間には大きな間隔がある。だから，一般的なディスプレイのような映像の面表示はできない。そのため，横スクロールしている表示内容を目で追って初めて脳内で映像として結像するわけだが，映像が立体像になっているという感覚が不思議なのだ。この不思議な視覚感は，人を引きつける魅力があると思える。警告表示やサイネージ用途には，もってこいかもしれない。

　デモの映像を動画で撮影したものを掲載しておこう。映像の横スクロールに合わせてカメラを横に動かすと，図形が見えてくるのが分かるはずだ。動画では立体視の再現まではできないが，デモ機の前で見ていると，これが立体的に見えるのだから面白い。

展示システムの背面側。現在のシステムでは，データポート1本でシリンダー8本を制御しているという

　研究チームのスタッフによると，「ディスプレイが筒型で分離できるため，配置自由度が高く，ユニークなレイアウトが実現できるのも特徴である」と述べていた。
　一方，課題としては，ホストPCから各シリンダーに送るデータ量が意外に多いという点が挙げられていた。高解像度化や視点数を増加するためには，データ転送速度を上げるか，複数のホストPCを組み合わせることで，ホストPC1台あたりが受け持つシリンダーを減らす必要があるかもしれないと，そのスタッフは指摘している。
　ちなみに，回転部分の耐久性についても聞いてみたところ，現状でも耐久性は十分で，その点はそれほど不安視していないとのことであった。

　LEDを並べた警告表示用のディスプレイなどと比べた場合，マルチスリット視型ディスプレイは密に並べて表示面を構成しなくてすむ――いわば“スカスカ”でも機能する――ので，コスト的には有利という利点がある。表示映像を必ず横スクロール表示しなくてはならないという制約はあるが，LEDディスプレイではコスト的に難しいような超大型サイズでも，情報を表示できるのは強い訴求ポイントであろう。
　そのうえ，Slit-Based Light-Field 3D Displayならば，これまでのマルチスリット視型ディスプレイでは不可能だった裸眼立体視も可能になるのだから，応用範囲は広そうだ。
　研究スタッフは，「現在はデスクトップに設置できる程度の大きさだが，将来的には超大型のシリンダーを人が通れるくらいの隙間を置いて設置し，遠方からでも裸眼立体視ができるようなシステムを作ってみたい」と将来の展望を語っていた。その実現に期待したい。

Emerging Technologies｜SIGGRAPH 2014

SIGGRAPH 2014 公式Webサイト