混合現実における動的コンテキスト認識のためのVision AI協調処理

[2024 – 2025]

MRヘッドセットからエッジAIアクセラレータへのセマンティック認識処理のリアルタイムオフロードにより、非構造環境下でのシーン理解と対話を実現する研究。

本研究では、混合現実（MR）における視覚推論のリアルタイム処理を実現するため、ヘッドマウントディスプレイの計算制約を補完する協調処理フレームワークを提案する。近年のMRデバイスは空間トラッキングには対応しているものの、高解像度のセマンティックなシーン解析をオンボードで実行する計算能力は十分ではない。これに対し、本研究では、セマンティックセグメンテーション、物体検出、シーンクラス分類といった認識処理を外部のエッジAIデバイスにオフロードするアーキテクチャを構築する。

本システムは、Magic Leap 2やMeta Questといった市販のMRヘッドセットと、Hailo-8などのエッジAIアクセラレータを搭載した小型プロセッサノードを接続する。映像入力（高解像度フレームまたは中間特徴量）をWi-Fiなどの低遅延通信で送信し、外部デバイス上で推論処理を実行する。処理結果として得られる物体マスク、バウンディングボックス、シーンラベルなどの構造化データは、UnityやUnreal Engine上でレンダリングされ、ヘッドセット内に統合される。

これにより、アプリケーションは物理環境と意味的に連動する表現を可能とする。たとえば、仮想コンテンツを検出された物体に動的にアンカーしたり、ナビゲーションシステムをシーンコンテキストに応じて変化させたり、環境の認識結果に基づいてアプリケーション挙動を制御することが可能となる。本手法では推論処理を外部化することで、ヘッドセット単体では不可能なモデルの複雑性や更新頻度にも対応できる。

初期の実装では、屋外でのモバイル利用や、室内環境におけるセマンティックアノテーションの応用において、往復100ms未満の応答性能が確認された。さらに、複数のヘッドセットから単一の推論ノードを共有するユースケースも検証済みである。

本研究は、幾何情報、セマンティック解釈、環境インタラクションの統合を通じて、混合現実におけるSpatial AIの基盤技術としての貢献を目指す。

Publication

• Context-Rich Interactions in Mixed Reality through Edge AI Co-Processing
  Orsholits, Alex, Tsukada, Manabu. The 39-th International Conference on Advanced Information Networking and Applications (AINA 2025), Barcelona, Spain, 2025, ISBN: 978-3-031-87771-1 [Proceedings Article]BibTeX
• Edge Vision AI Co-Processing for Dynamic Context Awareness in Mixed Reality
  Orsholits, Alex, Tsukada, Manabu. IEEE VR 2025, Poster, 2025, (Honorable mention) [Miscellaneous]BibTeX
• A Distributed Content Subscription Mechanism with Revision Discovery to Decouple Content Sharing Platform and Creator ID
  Zhu, Zhihai, Tao, Ye, Tsukada, Manabu, Esaki, Hiroshi. International Conference on Artificial Intelligence in Information and Communication (ICAIIC 2025) , Fukuoka, Japan, 2025 [Proceedings Article]BibTeX