今日から君もミスター念力？　「Neural Impulse Actuator」でゲームキャラを脳波コントロールしてみる

Neural Impulse Actuator

ヘッドバンドの装着例（マニュアルより）

　SFの世界の言葉であった「脳波コントロール」が少しずつ具体化し始めている。今回紹介するのは，OCZ Technology Groupの「Neural Impulse Actuator」（以下NIA）だ。
　
　まず，これがいったいなんなのかから説明しよう。NIAは，USB接続でPCから利用できる「脳波計のようなもの」である。脳波などの信号を検知し，ゲームで利用できるキー入力やジョイスティック，マウスボタンなどの動きに変換するドライバが付属している。これで手足を使わない入力デバイスが追加されると思っておけば間違いない。
　次に使い方だが，センサーの付いたヘッドバンドをコントロールボックスにつなぎ，コントロールボックスをUSB端子でPCに接続。あとはドライバを入れればNIAが使用可能になる。ヘッドバンドは，ゴム製で伸縮し，サイズ調整も可能だ。左右の指定はなかったのだが，これはソフトで左右反転できるのでどっちにつけても問題がないらしい。
　世にある簡易型の脳波計は多分に筋電計のようなものらしいのだが，NIAは，脳波計と筋電計を兼ねたものとなっている。これを頭に装着し，指一本PCに触れることなくゲームのキャラクターなどを制御するというのが主な使い方となる。

コントロールボックスとセンサ部。額の3点で電位を計っているらしい

とりあえず使ってみる

　さっそく使ってみよう。最初にキャリブレーションである。正確な操作を期すためには，装置を使用者のコンディションにカスタマイズする必要がある。
　ところが，説明どおりにNIAを装着しても電位が上限に張り付きっぱなしで一向に波形を描く気配がない。マニュアルを見ると，電源のグランド（GND：Ground，地面の電位。要するにアース）をしっかり取れと書いてあったので，ひょっとしてと，PCケースに手を伸ばして触れてみると，電位が途端に下がることが分かった。
　日本ではグランドがきちんと取れるコンセントが少ない。一応，2穴のソケットでも極性はあるのだが，そもそも電設工事の段階でちゃんと極性が合せてあるのかも疑わしいとも思っている。左右逆に差し込んでも改善されることは少ないだろう。とりあえず，PCケースと人体でベースを合せてみることにする。今回は，PCのケースと右手の小指を導線で接続してフレームアースを取ってみた。PCのマザーボードや各種機器は筐体ケースにGNDを接続することでGNDを安定させている。USB機器も結局はそこにつながっているはずなので，その電位をあわせてみるわけだ。接続の結果，電位はかなり安定し，ようやくキャリブレーションが取れるようになった。

よくないキャリブレーション。全体に緑の破線のレベルより下になることが望ましい。電位が高すぎると精度が悪いらしい

きっちり収まった正しいキャリブレーション。そういう体質なのか，残念ながらここまで下がることは滅多にない

　NIAで測定できるのは，顔の筋肉の動きと目の動き，そして脳波（前頭葉部のα波，β波）である。これらをゲームコントロールにどう割り当てるかは，ドライバが使用するプロファイル次第なのだが，最初に使えと指示されている「UT-3 easy」のプロファイルでは，上下移動は筋肉，左右移動は目の動きで行うようになっている。これが基本となるらしい。

カスタマイズ画面。どのゾーンにくると，どのイベントが発生するか，どのモードで動かすかなどを個別に設定できる

カスタマイズしてみよう

設定できるキー情報操作など（部分）

　まずはUT-3 easyというプロファイルを例に調整をしてみたが，その調整法なども軽く紹介しておこう。キャリブレーションが適切に行われると，脳波の周波数成分ないし筋肉の動きは，電位差によってグラフ化される。分かりやすくいえば，α波やβ波のそれぞれについて電圧が高いか低いかが出てくる。これがどの程度振れるかによってスイッチのON/OFFを行うと考えていいだろう。設定できるのは，ON/OFFだけで処理されるものと，何段階かで判定できるものに分けられる。
　トリガーボタンなどに使われるものは，値が一定値を超えたらONなどのように指定すればよい。方向キーなどは，値が高めのときはWキーが押されたと判定し，低めのときはSキーが押されたと判定するといった感じに設定できる。
　それぞれについて，感度（どのくらいの変化で反応するか）と増幅量（どれくらい大きく動くか）と，信号のスムージング（ノイズなど突発的な動作を平均化して抑える）の度合を指定していく。センサの取り付け具合にもよるようだが，ある程度以下の感度ではまったく反応しなかったり，敏感に動きすぎて微妙な動作が難しかったりすることがあるので，感度と増幅量で加減をしていく。　

　動作モードとしては，
　
・Single
　設定した値になったら1回キーが押される
・Dwell
　設定した値になったら，一定時間置いてキーが押される
・Hold
　設定した値になったら，一定時間キーが押され続ける
・Repeat
　設定した値になったら，一定時間キー押下が繰り返される
・Toggle
　設定した値になったら，1回ごとにONとOFFを繰り返す

といったものが基本要素としてあり，これらの組み合わせとして，Repeat Hold，Dwell Hold，Repeat Single，Dwell Repeat Hold，Dwell Toggleなどがある。
　なんでわざわざ遅延を入れるのかなと調べると，視覚から脳波で反応すると手でキーボードなどを操作するより15％速いのだそうだ（米空軍での調査：Brainfingersのサイトより）。もちろん的確に動けば，の話だが。

　このようにスティック操作やトリガー操作を割り当て，起動ファイルを指定するとプロファイル作成は完了である。ただ，テスト環境ではランチャーがあまりうまく動いてない感じで，起動指定後に手動でゲームを立ち上げてCtrl＋F12キーでアクティブにするという操作で，ゲーム以外にも適用できていた（むしろ，ゲームでは無理なものが多々ある）。

　現状では，すべてのプロファイルをいじっているわけではないのだが，少なくともUT-3 easyの初期状態では，脳波はまったく使用されていない。その代わり，トリガー操作も筋肉の動きになっているため，どうしても上下運動と干渉してしまうのが問題だ。微妙な調整をすれば使い分けられるのかもしれないが，そもそもが微妙な操作は難しいデバイスなので，ちょっと困っている。
　簡単に設定してみると，全体的に上下動はまあ制御可能だが，左右移動はかなり難しい感じである。眼球の周囲の筋肉を見ていると思われるのだが，どうやっても随意に動かせている気がしない。調整をもう少し詰めていく必要がありそうだ。


　このプロファイルでは，左右移動は非常に困難ではあるものの，上下くらいならなんとか使えることは分かった。とはいえ，普通のゲームで使うのは正直厳しいものがある。キャリブレーションからサンプルのピンポンゲームを遊ぶまでの一連の動作を以下に示す。


　UT-3 easyというのは，どう見ても「Unreal Tournament 3」用のプロファイルなわけが，残念ながら，NIAでこれを使ってUnreal Tournament 3に参戦しても善戦は期待できないだろう（まあ，マウスとキーボードを使っても一瞬で殺されるのだが）。スピーディな戦いの途中で筋肉を緩和させたり，エイミングを行うことはかなり難度が高い。全員がNIAを使う大会などがあると相当面白そうな気はする。

指より速い反応は可能か？

　ざっと使った範囲では，キャラクターの移動にNIAを使うのは非常に厳しいといわざるをえない。現実的に考えて，ゲームで使えるレベルで任意に制御できそうなのは，筋肉の動きによるトリガー操作だけなのは，先ほどのムービーを見ても理解していただけるのではないだろうか。ならば，そこだけを取り出してみてはどうだろうか？　先ほどの「15％速い」が本当なら，マウスとキーボードで通常のゲーム動作を行い，とくに俊敏な反応を求められるトリガー操作だけNIAに割り当てるという選択肢である。
　これはちょっと贅沢な使い方だが，数％でも速く反応できるようになればゲーマーとしては見逃せないトピックであろう。

　さっそくテストプログラムを作ってみた。こういうものはViZiMOで非常に簡単に作れる。以下は，そのテストムービーである。的が表示されてからキーを押すと左の拳銃が発射される。NIAの筋電位で右の拳銃が発射されるようにしてある。


　ざっと比べてみても，あまり差はない。米空軍でのテストでは15％速かったということなのだが，有意な差は確認できなかった。筋電位でなく，脳波でやったほうがいいのかもしれない。とはいえ，指でキーを押すのと同等の反応速度で，一つ余分にトリガー操作ができるというだけでも収穫ではあった。
　焦ってくると暴発が多いのだが，指より俊敏に反応させたいので，トリガーの感度は高めに，スムージングはほとんどなしに設定しているのが主な原因だ。暴発が多くなると気を静めようとしてかえって反応が鈍くなったりするので，一長一短というか逆効果ぽい感じではあるが。

　なお，全体に反応がのろいのはご容赦を。ちなみに弾が発射されて弾着までは0.03秒。ボタンを押して発射までと着弾の判定で若干余分に時間がかかっているようではある。同じものを試したい人は，下の画像をクリックするとテストプログラムが立ち上がるのでご確認を。操作はAキーを押すだけ。Aキーを押すと左の拳銃が発射され，Sキーを押すと右の拳銃が発射される。SキーはNIA経由で押すことを前提としているので，単体で起動しても面白いものではない（一応，2プレイヤーで競うこともできる）。



　なんとなく緊張時に誤動作が多いかなというのが課題として残る。これは慣れと調整の突き詰めで解消していくしかないかもしれない。

ちょっと脳波を見てみよう

　これまでは，基本プロファイルを参考に筋電位を中心に使っていたわけだが，当然の疑問が湧き上がってくる。NIAでは筋電計だけで脳波計は使わないのだろうか？　ここで「Brainfingers」のボタンを押してみよう。Brainfingersでは入力された脳波を含めた信号の状態が一覧できる。脳波部分を見てみると，α波を3帯域，β波を3帯域に分けて計測していることが分かる。これらを選択的に操作可能なのかについては，ちょっと疑問がある。

Brainfingersの画面。下に脳波の波形，上にα波3帯域，β波3帯域，眼球の動き，筋肉の動きそれぞれの状態がリアルタイムに表示される

　プロファイルでデフォルトの設定を変えると，この脳波の成分をトリガーに使用できるのだ。
　使用されるのは，α波3成分とβ波3成分の振幅で，脳のどの部分が興奮して云々ではなく，前頭葉全体（額のあたり）での波形の周波数成分の量が制御用に使用されている。ちょっと短めの波長のα波をたくさん出したり，中くらいの波長のβ波をたくさん出したりというのが任意にできるようになれば多彩な制御ができるわけだが，あまり人間ワザという気はしない。
　
　さて，とはいえ，脳波表示はそれだけでもなかなか興味深い。脳波といえば，ゲーム脳論議が思い起こされるわけだが，脳波測定などを出されると「ゲームはよくない」といわれてもなかなか反証できるものでもないので，一方的に殴られるだけの状態だったのだが，これを使えばある程度の検証はできそうだ。
　ゲームで脳味噌を使っているときに脳波がどのような状態になるかがまず問題になる。
　今回は，比較的頭を使うゲームの例として，マインスイーパーをしながらスナップショットを取ってみた。幸い，このゲームを反射神経だけでできるほど熟達してはいないので，割と頭も使ってるはずである。最初の3手以外は読み切り，かつダブルクリックは使用しないという長考モードでやってみたのだが，α波とβ波でどっちが多く出ているかというと，断然α波であった。ゲーム脳？　


　次に，画面をじっと眺めながらNIAでサンプルのピンポンゲームをしているところ。かなり感度を落として設定してあるのだが，ほぼ全般に振り切っている状態だ。なんか波形部を見ても波長がデタラメで危ない人みたいな状況。


　では，この原稿を書いているときのスナップショットを見てみよう。あれ？　ほとんど動いてないな……。落とそうと気を落ち着けてもほとんど上に張り付きっぱなしだったAlpha1までこんなに落ちてる。


　まあ，脳味噌を使わなくても難しいことを考えたり仕事ができるんならば，それはそれで問題ない気はする。というか，むしろ脳波の出方と頭を使ってるかどうかはあまり関係ないような気がする，というのがとりあえずの結論だ。慣れた作業をしているか，慣れない作業をしているかでしか違いがないように思える。

　実は，ゲーム脳を言い出した森氏の「ゲーム脳の恐怖」内でも触れられているのだが，ある程度学習が進むと，シナプスは同じ作業をより効率よく処理できるように強化されてくる。ゲームでもなんでも，熟達すれば，さほど頭をフル回転させなくても対処できるようになるのが人間の頭脳なわけだが，なぜかフル回転してないと機能停止していると見なすのがゲーム脳の考え方のようで，将棋の羽生名人が対戦中の脳波でもβ波が下がりα波優位が観測されたのだが，森氏によるとゲームと同様に危険な状態だそうだ。うーむ。
　

脳波計としては使えるか？

　安静時には波長の長いα波，脳が働いているときは波長の短いβ波というのは，なんとなく分かりやすい図式なのだが，実のところ，α波は8〜13Hz，β波が14〜30Hzということで，そう大きな違いがあるわけではない。CPUを思い浮かべると，周波数が高いほうが高速な気がするのはしかたないが，単純に当てはめるには無理がある。脳内の基本スイッチングがたかだか数10Hzで動作していると考えるのも馬鹿げた話だ。結局のところ，脳神経が電気的な動きをしているというのは間違いないのだが，非常に微細な電位の動きが非同期で発生しているため，脳波というのは全体のノイズの集合体にすぎない。むしろ周波数で特性が確認されていることのほうが驚きといってよいだろう。


　NIAでざっと試してみると，全体的な出力を上げることはできるのだが，個別にというのはかなり難しい。というか，安静時は確かに脳波の出具合が減るものの，なにかすると全体的に出力が上がってしまうので周波数帯の分析どころではないという感じだ。波形はともかく，シナプスの動きを考えると納得できる挙動ではある。
　NIAでの脳波は，前述のとおり，α波3帯域，β波3帯域で測定される。具体的な周波数帯は不明である。だいたいの波長は分かるのだからと，上のようにいろいろやってみたのだが，上がるときは全帯域一斉に上がるといった感じでしか観測できておらず，脳波計としては使えないという印象だ。

　本来，脳波というのは，決まった測定法があって，使用する電極数も21個とかなり多い。もちろん接続位置も決まっている。それ以外の測定法は，従来の測定法での脳波と同じものとして扱うのは妥当ではないというのが実際のところだろう。簡易型でも表皮の電位差は波形として取れるのは確かだが，観測時の波長が同じだからと，同じα波やβ波として捉えていいのかは保証されていない。脳波研究者の中には，頭皮上からではなく頭蓋骨を開けて直接電極をつけないとちゃんと測定できないとする人もいるようだ。

　とはいえ，合目的的にいえば，医学的に正確な脳波でなくても，機器をコントロールするのに使用できればまったく問題ないわけで，NIAの価値自体に問題があるわけではない。医学的に検証されれば利用価値が大いに上がるのになあというだけの話だ。実際，ジョイスティック値を読み出す程度の簡単なプログラムで記録できるとなれば，ゲーム以外での用途も相当広がりそうなのだが。

脳波コントロールに挑戦

　すでに筋肉の動きだけである程度の制御は可能だと分かったので，「手足を使わずに」ゲームキャラクターを制御することは不可能ではないと実証されたのだが，ここはやはり脳波コントロールをしなければ話にならない（ネタとして）。
　当初は，「こんなモン人間ワザじゃねーよ」と思っていたのだが，調整要素は結構あるので，うまくいじればそれなりに使えるものなのかもしれない。
　しかし，いろいろやって，αの基底波というべきAlpha1に関しては完全に制御不能，というか，どう設定してもほぼ上限に張り付き状態なのでいじる余地がない。Alpha2で試すと，……おや？　少し動く？　
　なにか考えるというわけでもないのだが，「念を集中する感じ？」で制御できる可能性が出てきた。もっとも，同じ操作でGlance，Alpha3，Beta1〜3すべて上がるので，選択的にどれかだけ上げるというわけにはいかないのだが。それでも筋電位は上げずにほかを上げることもできるようになったので，うまくすれば筋電位と脳波の2軸の制御はできそうだ。当然ながら微妙な操作は非常に難しい。

　筋電位を使った先ほどとは違い，ちゃんと脳波制御でゲームをしているのが次の動画である（一般的なゲームを動かすことは，すでに諦めている）。


　パドルを下げるのが難しく，微妙な高さで固定するのがさらに難しい。安静にすると下がるのだが，焦るとそれどころではなくなるのは理解していただけるだろう。それでも，一応，脳波制御でゲームができる（ゲームになっているかどうかはともかく）ことは確認できた。

　NIAが実際のゲームに使えて，脳だけで操作できるかというと，いくつか課題が残る。まず，もう少しスイッチングに使える要素がほしい。現状では，2要素（筋電位と脳波）の制御がせいぜいだ。眼球の動きはついに制御できなかった。せめて普通の人が恣意的に操作可能な（扱いやすい）制御基準がもう2，3種類ほしいところだ。
　次にドライバの問題。ご承知の人も多いだろうが，ゲーム側で怪しいドライバが入っていると起動しないというものも多く，マウスやキーの制御を乗っ取る見るからに怪しそうなデバイスドライバが入っていると使えるゲームは限られてくる。NIAでは，NIAのコンフィグレーションに実行ファイルを指定して，NIAのコントロールプログラムからゲームを起動するという方式になっており，試したところオンラインゲームのいくつかはまったく起動しなかった。このあたりは，NIAの知名度が上がれば解決する問題かもしれないが，より一般的な実装法が求められる。
　そのほか，ゲーム中の状況によって，キャリブレーション時のベースラインからかなり信号レベルが変化してしまったり，焦るとコントロールできなくなったりといった問題もある。

PC近くのノイズの例

　ちなみに，ヘッドバンドを頭から外すとどうなるかというと，なにかの波形を拾っているのは確かである。環境にもよるだろうが，動作中のPC周辺には電気ノイズはかなり多く，それらも拾われているのは間違いない。誤動作に対する対策も必要だろう。

NIAの可能性

慶應義塾大学の実験

　なんとなく夢の世界であった脳波コントロール。まだ始まったばかりとはいえ，市販品として脳波コントロールデバイスが入手できる時代になってきた。
　現状のNIAは，普通のゲームでコントローラとして使うには難の多いデバイスだが，まだまだ第一世代の製品にすぎず，今後の展開に期待したいところだ。トリガー1個だけに限れば，かなり確実な動作（実用レベルで）も期待できる。
　NIAの発展形で，より簡単に，より多彩に使いこなせる機器が出てくれば，PCのインタフェースも大きく変わっていくことだろう（まあ，PCよりも携帯型デバイスに向いている気もしなくはないのだが）。
　とくに手足が動かせない人でもPCを操作できるインタフェース，いわゆるイネーブルウェアとしての可能性は非常に大きい。指先さえ動かせない人にとって，脳波でコミュニケーションが取れるようになることは福音であろう。

　ただし，現状のNIAによる脳波コントロールは，一般的に多くの人が思い浮かべるであろう脳波コントロールとはかなり乖離している。
　すでに慶應義塾大学などでは脳波をSecond Lifeのアバター操作に使用していた例も発表されているのだが，この研究では「足を動かすイメージ」でキャラクターが前進し，「右手を握るイメージ」でキャラクターが右を向くなど，より「脳波コントロール」として受け入れやすいものになっている。とりあえず，技術的にはそういうことも可能ということなので，今後の製品ではそういった高度な制御ができるものが登場してくることに期待したい。