スマホにアイトラッキング(視線追跡)機能を搭載するソフトウェア MITら開発

2016年6月24日、ジョージア大学とマサチューセッツ工科大学のコンピュータ科学・人工知能研究所が『全てのスマホにアイトラッキング（視線追跡）機能を搭載するソフトウェアの一部』を開発しました。

経緯や内容はパパッと説明して本記事ではVR関連での活用方法について触れていきますので、詳しく読みたい方はニュース記事の原文と本研究過程詳細がわかる論文のリンクを用意したのでそちらへどうぞ。

原文：Eye-Tracking system uses ordinary cellphone camera

論文：Eye Tracking for Everyone(PDF)

外部機器は一切不要、あなたのスマホがアイトラッキング機器になる

今回の発明で科学者達は『視線追跡用ソフトウェアを利用するのに外部機器は一切必要としない』という点に重きを置いていたようです。

必要なのはあなたのスマートフォンとスマホの前面カメラ、他の機器を購入するお金もそれらを持ち運ぶ労力も必要としない、そんな視線追跡ソフトウェアの開発に乗り出しました。

彼等は中枢となるシステムを開発するためにデータ収集を開始します。

視線追跡というより視線予測システム？

研究チームはAmazon Mechanical Turkというクラウドソーシングサービスを利用し、GazeCaptureというiOSアプリケーションを使って約1500人のデータサンプルを収集します。従来の研究ではサンプルデータは50人とかそこらだった、みたいな記述があったので、その数の膨大さがわかります。

照明、頭の位置、頭の大きさ、外見、背景など、あらゆるデータをサンプリングし、そのうち800人の視線の動きを解析し完成したのが『iTracker』で、その誤差は1.5cm程度。その後残りの700人のデータも解析し機能を向上させ、誤差は1cmの所まで精度を向上させたそうです。

つまりこのシステムは赤外線とかで視線を『追跡』してる訳じゃなくて、左右の目の動きや表情や顔の面積からどこをみているのかを『予測』するシステムを考えた方が妥当かもしれませんね。

さて、じゃあこの機能がVRとどう関係していくのか。

スマホVRとの関連性

VRにおいてアイトラッキングと言えば『FOVE』、Tobii Technologが技術提供する『Star VR』などハイエンドVRの特権のような機能として捉えている人も多いと思いますが、その壁も取り払われる可能性があります。

第二世代ハイエンドVRヘッドセットの鍵である視線追跡やフォビエイテッドレンダリングの機能が全スマホに搭載される事で、新しい表現方法の確立、スマホの負担軽減なんかも可能になってくる期待もあります。

しかし技術としては素晴らしいのですが、現状のスマホVRでは導入は難しいんじゃないかなぁ。

理由はスマホVRヘッドセットの形状を見てもらえればわかります。

VRヘッドセットではスマホ前面のカメラが隠れてしまう

スマホVRヘッドセットに限らずなんですけど、全てのHMDはレンズを除く形の形状になっています。そのためスマホの前面カメラが隠れちゃんですよ。致命的でしょ？

例えカメラ部分が見えてたとしてもスマホカメラと顔の位置が近すぎて片目しか検知できないので役に立たない。つまりスマホの前面カメラを使って視線追跡機能を追加しVRを楽しむのは不可能です。

あちゃーーーー

しかしあくまで現状での結論であって、将来スマホの形状が変わり前面カメラの位置が変わったり（側面中央とか）、今回の発明で視線追跡機能そのものの精度が向上し別の形として活きるという事は充分ありえますのでがっかりするには早計かもしれませんけどね。

最後に

視線追跡っていうと赤外線を照射して目の動きを追跡するものしか知らなかったんだけど、膨大なデータサンプリングから人の視線を予測して表示する事もまた視線追跡する術もあるのだなぁと僕自身感動しましたのでわざわざ記事にしてみました。

Tobii technologyの赤外線をピャピャーってやって距離を測ってどこを見てるか表示するデバイス。詳細記事

余談ですが、土日に海外の大学の論文読むとすごい疲れるんだけど、学生時代思い出して若返った気がするのは僕だけでしょうか？

レッドブル！パーティ！バーベキュー！ほなね！