［SIGGRAPH］製品化前の次世代技術が目白押し。魔法のクッキーからインタラクティブな裸眼立体視まで，「Emerging Technologies」展示セクションレポート（1）

E-TECH展示会場風景

　SIGGRAPHの展示セクションには，いくつかの種類がある。各企業の一般的なブースは「Exhibition」（エキシビション）セクションと呼ばれるが，そのほかに，CGやバーチャルリアリティ技術を使ったアート作品の展示や，製品化以前の先端研究が見られる「Emerging Technologies」（エマージングテクノロジーズ，通称E-TECH）セクションがある。このE-TECHセクション，毎年，日本企業や日本の大学の出展が多いのが特徴でもある。
　2010年も例年どおりというかなんというか，普通に日本語が通じるほど，あちこちに日本人がいるという状況であった。

　今回は，E-TECHセクションにあったユニークな展示物を紹介していきたい。種類が多いので，まずはその第一弾だ。

40視点の裸眼立体視ディスプレイ「RePro3D」

〜東京大学，慶應義塾大学

　東京大学と慶應義塾大学の研究グループは，立体像にインタラクトできる，40視点に対応した多視点裸眼立体視ディスプレイの展示を行っていた。
　「RePro3D」と名付けられたこのシステムは，1000cd/m²の高輝度液晶パネルに，レンダリングした40視点分の映像を集約して見せる仕組みとなっている。「左から見たら，そのオブジェクトの左側から見た立体視映像が，右から見たらそのオブジェクトの右側面の立体視映像が得られる」という多視点裸眼立体視システムだが，これまでは視点数分のプロジェクタを利用する場合が多かった。それに対して比較的安価な液晶パネルを利用しているのが，RePro3Dの特徴だ。

RePro3D模式図。なお，実際の展示品とは内部構成は異なっている

奥に見えるのが高輝度液晶パネル。このパネル自体は普通の2D液晶パネルだ。ここに40視点分のCGキャラクターをまとめてレンダリングする。そして，中央のレンズが，40個のCGキャラクター像を光学的に集約

　展示では，複数のレンズで集約した多視点映像を特殊レンズで拡大し，再帰性反射（入ってきた光が元の方向に戻る反射）するパネルに投射。投射した映像をハーフミラーを使ってユーザーが見るという仕組みになっていた。ハーフミラーを用いているのは，現実世界の実体物と，再帰性反射パネルに映った映像（＝CG）を合成するためだ。

　デモでは，実体物であるオモチャの家から，CGで描かれた妖精のキャラクターが出てきて歩き回るシーンが見られたほか，オモチャの家の周囲に手を入れて，妖精にちょっかいを出せるようになっていた。これは「本体内部に仕込まれている赤外線カメラが手の動きを検知し，妖精キャラクターとの衝突判定を行ってアニメーションさせる」ことで実現している。

　40視差は，左右視差だけでなく上下の視差にも振り分けられているので，ユーザーは，頭を上下左右に動かすことで，さまざまな角度から妖精を見られる。つまり，オモチャの家と違和感のない合成映像を楽しめるのだ。

　現在ところ，システムはかなり小規模で，見える範囲は120mm×70mm程度。表示できるCGも60×60ドット程度とのこと。ただ，多視点裸眼立体視を比較的安価なシステムで実現できる点においては将来性が高い。体験型ゲームやテーマパークでの展示など，アミューズメント業界への応用が期待される研究だ。

（左）中央の大きな円盤は拡大光学系。左の斜めになっているのがハーフミラーだ。下にあるのはオモチャの家。見えにくいが，手の動きを検知するための赤外線カメラが天板部分に付けられている。（右）ユーザーはこんな感じで覗き込み，下から手を入れて妖精にちょっかいを出せる

ちょっと分かりにくいかも知れないが，実際にユーザーが見る光景を撮影してみた。実体であるオモチャの家とCGが，ハーフミラーで合成されている

どんな味にでも自由に変えられる，「Meta Cookie」

〜東京大学

　東京大学の研究グループは，プレーンクッキー（とくにフレーバーのついていない，普通のクッキー）をさまざまな味で食べられるという研究，「Meta Cookie」を発表していた。


　Meta Cookieでは，8本の管とカメラの付いた，仰々しいヘッドマウントディスプレイ（以下，HMD）を被ることになる。テストの対象となる被験者はHMDに備え付けられたカメラからの映像を見ることになるので，カメラ越しに自分の視界を見ているような感覚になる。

マトリクスコードが焼き入れされたプレーンクッキーを持っているのが分かる

　この状態でプレーンクッキーを食べることになるのだが，その前に例えば，「食べたい味」としてチョコレートクッキーを選んだ場合，実際に持っているのはプレーンクッキーなのだが，被験者の手には茶色いチョコレートクッキーが掴まれているように見える。HMDを取り外せば確かにプレーンクッキーなのだが，HMD越しに見るとチョコレートクッキーなのだ。

　そして，クッキーを口に運ぶと，8本のパイプを通して香ばしいチョコレートの匂いが送られてくる。味はプレーンクッキーなのだが，チョコレートクッキーを食べているように見え，チョコレートの匂いが絶え間なくするので，まるで本当にチョコレートクッキーを食べている気分になってくるというわけである。

　HMD越しにチョコレートクッキーに見えるのは，プレーンクッキーに書かれているマトリクスコード（2Dバーコード）に秘密がある。HMDのカメラでそのマトリクスコードを認識し，この情報を元に三次元的な位置や傾きを判別し，チョコレートクッキーのCGを合成するのだ。

（左）画面左端の液晶モニターに映っているのが被験者の視界。CG合成前。（右）手前のノートPCにはCG合成された「お好みの味のクッキー」が写っている

　クッキーを口に運ぶと，これを検知して，今度はチョコレートの匂いを鼻に吹き付ける。
　用意されていたクッキーの味はチョコレートのほか，イチゴ，紅茶，アーモンド，レモン，メープル，松茸の7種。松茸は，プレーンクッキーとまったく合わず，「まずい」と感じさせる目的で，半ば冗談として用意されたものだとのこと。
　8本の管のうち，7種類はそれぞれの味のための匂いを送るもので，残る1本は，鼻の周りにたまった“前の匂い”を吹き飛ばすフレッシュエアの送風用に使われている。

（左）テーブルの上にあるのがエアポンプ。風は透明の管を通って被験者の鼻へ。（右）HMD部分の内部構造。匂いを確実に被験者の鼻に送り出せるように，匂いの詰まったタンクはHMD側に備え付けられている

　人間の知覚メカニズムの解明はまだこれからの研究分野だそうで，今回のこの展示はその研究成果の一端といえるだろう。

　光はRGB（赤緑青）の3原色でかなり多くの色が合成できるが，「匂い物質」とされているものは1万種類以上存在するという。しかも人間の鼻はなかなか優秀で，400種類もの匂いをかぎ分けられるほどの受容体を持っている。その一方で，味覚のほうはかなりいい加減な部分もあって，今回のMeta Cookieのように，匂いに引きずられて，いろいろな錯覚も起こり得るのだとか。

　とある清涼飲料水が有名な例だが，グレープ味，オレンジ味，メロン味などさまざまな“味”が用意されてはいるものの，原液はまったく同じなのだそうだ。異なるのは香料と色だけで，それだけで人間は，その果物の味であると錯覚してしまうのだ。

ローテクでハイテクなインタラクティブ・ゾートロープ

〜Disney Research, HOLORAD

　世界的な総合メディア企業，The Walt Disney Company（以下，ディズニー）には，次世代のエンターテイメントを研究開発する「Disney Research」という部門がある。そのDisney Researchが，一般展示でなく，E-TECHセクションにて，いくつかのユニークな研究発表を行っていた。
　その一つが，「An Interactive Zoetrope for the Animation of Solid Figurines and Holographic Projections」と題された“ゾートロープ”の発展形だ。

　ゾートロープとは，コマ割りされた絵を内側に描いた円筒を回転させ，それをのぞき窓（スリット）越しに見ることで動画として認識できるようにしたもの。19世紀頃に発明された装置で，日本では「回転のぞき絵」と呼ばれることもある。

ターンテーブルの上に，表情の異なるピンポン球が複数個並んでいる

　ゾートロープでは原理的に反復パターンの動画しか見られないが，これにインタラクティブ性を持たせようというのがDisney Researchの研究だ。展示されていたのは，表情の描かれたピンポン球がターンテーブルに載せられているという装置だった。
　これがゾートロープだとすれば，ターンテーブルの回転によってピンポン球がさまざまな表情変化を繰り返すはずだが，ピンポン球の表情はまったく変わらない。間違いなくターンテーブルが回転しているのに。

　続いて，この装置に向かって話しかけると，その声の大小によって，ピンポン球に描かれた口の動きが変わる。大い声なら口が大きく開き，小さな声では口が小さく開くのだ。これはどういう仕掛けなのだろうか？

「声の大小に適合する表情が描かれたピンポン球」が声を出した人の前に来たときにだけLEDを点灯させる。すると，ゾートロープなのにまるでインタラクティブなアニメーションが実現しているかのように見える

　スタッフにタネを明かしてもらうと，原理は意外に単純だった。
　ターンテーブル上の複数のピンポン球は高速回転しているが，見せたい表情のピンポン球が顔の前に来たときだけ，白色LEDを点灯していたのだ。見せたくない表情がときは白色LEDが消え，そのピンポン球は見えなくなる。「顔の前にどのピンポン球が来ているのか？」を検知しコントロールする制御技術と，白色LEDの高速応答性によって可能になった技術ということになる。

デモンストレーションでは，別の方向から同時に2人がこの装置に話しかけ，「口まねをするピンポン球」をそれぞれの位置から楽しめるようになっていた

　ブースでは，この発想を発展させ，ホログラム映像を使ったシステムの展示も行われていた。ホログラムで作られたゴリラの立体像が，声の大小に応じて口を明いたり閉じたりするものだが，基本的な原理はピンポン球の場合と同じ。必要なゴリラの表情が再生できる方向からLED光をタイミング良く照射しているのだ。
　展示システムはLED光を8方向から照射するシステムだったので，ゴリラの表情は8パターンしかなかったが，ホログラム映像を使うことにより，桁違いに膨大な表情を記録して再生することも可能とのこと。

　ちなみに，この技術が何に使えるかは，研究者達もよく分かっていないようで「ディズニーランドとかのテーマパークにあったら面白いかな」と笑いながら答えていた。

（左）中央にあるガラス円盤は拡大光学系。8方向に伸びた枝の先にLED光の照射装置がセットされている。（右）ホログラム立体像で出現するゴリラ顔。声の大小に合わせて，口が開いたり閉じたりする

つながって広がって書けるLEDディスプレイ「LED TILE」

〜金沢大学

　電車内の行き先案内や，工事現場の警告メッセージなど，近年，LEDディスプレイは非常に身近な存在だ。
　金沢大学の研究グループが発表したのは，このLEDディスプレイを自由自在に連結し，そこに図や文字を描けるようにした「LED TILE」システムだ。

　LED TILEの一つのモジュールは8×8ドット，合わせて64ドット分の赤色LEDで構成されている。大きさは38mm×38mm。このLED TILEモジュールは，レゴブロックのように縦横方向へ自在に連結でき，電源が入ったままの抜き差しもOKだ。そのため，LED TILE自体で文字や図版を構成することも可能だったりする。

LED TILEモジュールの表示面と裏面

連結させた様子。実験では10個×10個の100連結までを行った実績があり，電源パワーを上げれば，それ以上の連結も可能だとのこと

連結時の裏面

　わざわざSIGGRAPH 2010に出展しているくらいなので，できることはそれだけではない。ユーザーとのインタラクティブ機能までも取り入れられているのだ。

　まず，LED TILEに上にライトペンを走らせると，その軌跡に沿ったドットが光る。そう，LEDディスプレイなのに文字や図を直接描けるのである。
　さらに各LED TILEには3軸の傾きセンサーが実装されており，連結された状態のLED TILEを傾けると，まるで重力に引かれるように，光っているドットがスクロールするのだ。移動したドットは連結したLED TILEにもちゃんと受け渡されるので，複数のLED TILEにわたって描かれた大きな図形もスムースに移動する。

　LED TILEモジュールの各辺にはコネクタがあり，別のLED TILEに連結されることでネットワークを形成する。これによって各LED TILEが，「全体の中でどの位置にいるのか」を把握することも可能だという。

　気になるのは，どうやってライトペンで直接図形を描けるのかということだ。なにか特別なLEDなのだろうか？

　これは意外にもコロンブスの卵的な発想が応用されている。
　実は，我々が普段目にする通常のLEDも，光を当てることでわずかながら電気を発生するという性質を持っている。光を電気にする太陽電池と，電気を光に変えるLEDは，光電効果の両面を示すもので，機構的にはよく似たものなのだ。
　また，たとえ点灯しているLEDでも，実際はごく短い時間で明滅を繰り返しており，ライトペンからの入光は消灯しているときに検知できる。このわずかな電気を利用してライトペンの位置を検知し，図形を描いているというわけだ。

直接描くことができるLEDディスプレイは珍しい

正方形，長方形といった形状にこだわる必要がない。好きな形状のLEDディスプレイが作れるのだ

　応用が期待できるのはデジタルサイネージ（電子看板）用途だそうで，LED TILEの「つながる」「広がる」といった特徴は，自在な形状のディプレイを構成できるという点で訴求力が高そうだ。一部のLED TILEが故障しても，その部分だけ簡単に交換できるメンテナンス性の高さも，業務用用途において評価されるポイントとなりそうである。
　また，「描ける」「傾けられる」というインタラクティブ性も，人に立ち止まってもらうことが重要なサイネージ分野においてはプラスに働くだろう。
　担当者によれば，いずれはこのシステムをフルカラーにしたいとのことだった。



　掲載予定の第2弾では，シャボン玉を使ったディスプレイや，毛皮を使ったディスプレイなど，かなりヘンテコ（？）なディスプレイ装置について紹介していきたい。