近年，AR/MR機器は，コントローラなどを使わずに，手の動きだけで操作できるデバイスとして注目されています．しかし，空中で手を動かす操作は長時間使用すると腕が疲れやすく，また実際に触れている感覚（触覚フィードバック）が得られないために操作が不正確になるという問題があります．そのため，壁や机などの平面を利用したタッチ入力の研究が進められてきましたが，多くの手法では深度センサなどの特別な装置や事前の位置合わせなどの手間が必要でした．このため，外出先や公共空間などの未知の環境で簡単に利用することが難しいという課題がありました．

本研究では，指先を硬い面に押し付けた際に血液が一時的に移動し，皮膚が白く見える 「ブランチング現象」 に着目しました．この現象は人種や肌の色に関係なく起こる生理的反応です．我々は，この現象をカメラ画像から認識するためのAIモデルを開発しました．AR/MR機器に標準装備されているカメラで取得した手の位置情報と組み合わせることで，指先が触れたタイミングを検出し，仮想ユーザインタフェースのボタン操作を行えるようにしました．
ユーザ実験の結果，本技術により安定した精度で入力操作を行えることが確認されました．また，机や壁など，さまざまな素材の平面においても指先の接触を安定して検出できることが分かりました．さらに，従来の空中ジェスチャ操作と比べて，より自然で負担の少ない操作が可能であることが示されました．これらの結果は，日常環境にある平面を活用することで，AR/MRにおいてより自然で快適な入力を実現できる可能性を示しています．

今後は，さまざまな環境や利用状況において本手法の有効性をさらに検証するとともに，検出精度や応答速度の向上など，システムの改良を進めていく予定です．また，机や壁だけでなく，より多様な日常環境の平面を入力面として活用できるよう，技術の拡張にも取り組みます．将来的には，本研究で提案した入力手法をAR/MR機器に応用することで，日常生活や作業環境において，より自然で負担の少ない操作を実現することが期待されます．

本研究成果は，3月23日にVR分野のトップコンファレンスである 33rd IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR & 3DUI) で口頭発表され，論文は同会議の予稿集として，IEEE Xplore で 公開予定です．