3D音声空間化のためのデジタルツイン基盤設計

[2021 – 2025]

都市空間における3D音響のために、都市形状・高精度測位・音響シミュレーションを統合するデジタルツイン基盤を開発し、現実と連動する音響MR体験を実現します

没入型の空間体験への関心が高まる中、塚田研究室では、デジタルツイン技術を活用して、正確かつリアルタイムな3D音響環境を構築するための研究を進めています。本研究では、大規模な都市ジオメトリモデルまたはBIMデータ、リスナーの位置情報、ネットワークベースのレンダリング基盤に基づいたクラウド支援型音響シミュレーションに焦点を当てています。複雑な構造物やリスナーの動きに応じてリアルに変化する空間音響の実現を目指しています。

プラットフォームは、都市スケールの3DモデルまたはBIMデータと、RTK-GNSSやSLAMベースのトラッキング技術を組み合わせて、リスナーの正確な位置と向きを取得します。このデータは空間音響エンジンに送られ、音響をリアルタイムにシミュレーションします。波動ベースの音響伝搬をサーバ上で並列計算することで、遮蔽、回折、残響といった環境要因を反映した音場を生成します。リスナーは、自身の移動に応じて変化する豊かで反応的な音響環境を体験できます。

本手法は、複数のプロトタイプや現場実証を通じて実現可能性が確認されています。これには、スマートフォンとARフレームワークによるモバイル音響ビジュアライゼーション、都市空間の遠隔音響レンダリング、建築スケールの音響シミュレーションとのリアルタイム同期などが含まれます。これらの実装により、技術基盤の検証と環境ごとのシミュレーション精度評価の両面が進められています。

地理空間インフラ、組込みセンシング、音響レンダリングのパイプラインを統合することで、本プロジェクトは空間コンピューティングおよび都市情報学の最先端を押し広げます。今後、都市ナビゲーション、文化体験、状況認識の向上など、没入的かつコンテキスト指向の音響設計を通じて新たなユーザー体験を提供するための基盤として展開されることが期待されます。

Publication

• PLATONE: Assessing Simulation Accuracy of Environment-Dependent Audio Spatialization
  Orsholits, Alex, Nardini, Eric, Manabu, Tsukada. International Conference on Intelligent Computing and its Emerging Applications (ICEA2024), pp. 57 - 62, Tokyo, Japan, 2024 [Proceedings Article]BibTeX
• PLATONE: An Immersive Geospatial Audio Spatialization Platform
  Orsholits, Alex, Qian, Yiyuan, Nardini, Eric, Obuchi, Yusuke, Tsukada, Manabu. The 2nd Annual IEEE International Conference on Metaverse Computing, Networking, and Applications (MetaCom 2024), Hong Kong, China, 2024 [Proceedings Article]BibTeX
• Design of Digital Twin Architecture for 3D Audio Visualization in AR
  Takada, Tokio, Nakazato, Jin, Orsholits, Alex, Tsukada, Manabu, Ochiai, Hideya, Esaki, Hiroshi. The 2nd Annual IEEE International Conference on Metaverse Computing, Networking, and Applications (MetaCom 2024), Hong Kong, China, 2024 [Proceedings Article]BibTeX