2024年03月29日

リストバンドの装着だけでAR/VR入力用が可能に!? 研究者が「FingerTrak」を発表

ARとVRは、視覚的な忠実度とヘッドセットの快適性の両方で着実に進歩しているため、研究者は、コントローラを持つよりも自然に感じる入力ソリューションの研究を続けている。研究者グループは20日、手首の輪郭から20本の指の関節位置を抽象化し、サーマルカメラを使って手の動きを3Dで追跡するリストバンドベースのソリューション「FingerTrak」を発表した。Venture Beatが同日伝えた

コーネル大学のSciFi Labがウィスコンシン大学マディソン校の研究者の協力を得て開発したFingerTrakは、ディープニューラルネットワークを使用して、手首の周りに取り付けられた3~4台の小型サーマルカメラからの入力をつなぎ合わせ、手のポーズ全体をまとめて撮影する。カメラによって生成されたシルエットを使用して、バックボーンと回帰ネットワークが指先と関節の位置を推定し、その結果は完璧ではないが、VRやARの入力のいくつかの形態に使用できる可能性がある。FingerTrakの他の可能性のあるアプリケーションには、人間とロボットのインタラクションやコントロール、手話翻訳、パーキンソン病やアルツハイマー病などの変性疾患の早期発見を含むモバイルヘルスなどがある。

興味深いことに、研究者たちは、手首の輪郭だけで「手の姿勢全体を正確に予測するのに十分」であることを示唆しており、手袋や指輪、または以前にリリースされた他の技術を必要とするのではなく、センシングシステム全体を手首に配置することを可能にしている。デモビデオでは、フィンガートラックの手の動きのトラッキングがバイオニックハンドの動きに変換されていることを示しているだけでなく、コンピュータがユーザーが文字を書いているとき、コーヒーを飲んでいるとき、スマートフォンを操作しているときを判断できるようにしている。

とはいえ、人が何を書いているかなどの特定のジェスチャーを迅速に追跡できるかどうかは不明だ。研究者たちは、FingerTrakの平均角度誤差率がテスト中に6.46度から8.06度までの範囲であったことに注意している。言い換えれば、少なくともいくつかのアプリケーションでは、より精度の高い指のトラッキングソリューションを完全に置き換えるのではなく、補完するのがベストかもしれない。

手首に取り付けられたカメラは、ユーザーの頭から手と指の位置を監視するOculus QuestのようなVRヘッドセットで見られるインサイドアウトトラッキングカメラを補強することができる。プロトタイプの形態では、FingerTrakはすでにかなり小さく、さらなるエンジニアリングで簡単に小さくなる可能性がある。それは主に、リストバンド上の複数のポイントに取り付ける必要があるにもかかわらず、エンドウ豆サイズで最も薄いApple Watchよりも薄い、非常に低解像度(32-x24ピクセル)のサーマルカメラに頼っている。プロトタイプはまた、テザリングされたRaspberry Piボードに依存しているが、ハードウェアはスマートウォッチのような小型のソリューションを介して制御することも可能だ。

FingerTrakは、9月中旬に開催される2020 ACM International Joint Conference on Pervasive and Ubiquitous Computingで発表される予定だ。その基礎となる論文「FingerTrak. 手首の小型赤外線カメラで撮影した手のシルエットをディープラーニングすることで、連続的な3Dハンドポーズトラッキングを実現」はここから確認できる

シェアする