Software Defined Media：メディアを再定義し、自由なVRライブ体験を創造する

[2014 – 2019]

ネットワーク越しに制御可能な視聴空間基盤と、自由視点・三次元音響によるインタラクティブなライブ体験の融合。

インターネットを前提とした音声・映像サービスが普及する中で、従来の放送型メディアとは異なる「空間を共有する」体験への関心が高まっています。塚田研究室では、2014年に設立されたSoftware Defined Media（SDM）コンソーシアムの活動を通じて、オブジェクトベースの映像・音響コンテンツと、それをリアルタイムに制御・配信するネットワーク基盤の研究を進めてきました。

SDMアーキテクチャは、マイクやスピーカー、照明といった視聴空間の設備をIoTとして仮想化し、APIを通じてプログラム的に制御することを可能にします。これにより、ライブ会場やスタジオをプラットフォーム化し、参加者の位置や選好に応じて音像や視点を動的に再構成できる新たな視聴体験を提供します。本システムは、複数のハッカソンや展示で実装・検証され、多様なインタラクティブアプリケーションに応用されています。

この基盤技術を活かして開発されたのが、「LiVRation（ライブレーション）」と呼ばれる遠隔ライブ配信アプリケーションです。LiVRationでは、音楽ライブイベントを360度映像と3D音響で収録し、視聴者はHMDを装着することで自由な位置から没入的に体験できます。イベント情報とメタデータが統合されており、自由視点視聴や対象オブジェクトの選択などのインタラクションが可能です。この技術はBillboard Japan主催のハッカソンにて最優秀賞を受賞しました。

本研究は、ネットワーク技術と空間表現技術の融合によって、視聴体験そのものをプログラマブルにすることを目指す試みです。今後、スマートビルや遠隔教育、イベント演出、バーチャルツーリズムなどへの応用が期待され、リアルとバーチャルを横断する次世代メディア基盤として発展が続いています。

Publication

• インタラクティブな遠隔ライブVR配信プラットフォーム
  粕谷貴司,, 塚田学,, 菰原裕,, 高坂茂樹,, 水野拓宏,, 野村譲誉,, 雄太, 上田, 浩, 江崎. 情報処理学会論文誌デジタルコンテンツ（DCON）, vol. 7, no. 2, pp. 1-14, 2019, ISBN: 2187-8897 [Journal Article]BibTeX
• LiVRation: Remote VR live platform with interactive 3D audio-visual service
  Kasuya, Takashi, Tsukada, Manabu, Komohara, Yu, Takasaka, Shigeki, Mizuno, Takuhiro, Nomura, Yoshitaka, Ueda, Yuta, Esaki, Hiroshi. IEEE Games Entertainment & Media Conference (IEEE GEM) 2019, pp. 1-7, Yale University, New Haven, CT, U.S., 2019 [Proceedings Article]BibTeX
• Software Defined Media: 視聴空間サービスのソフトウェア制御
  塚田学,, 小川景子,, 池田雅弘,, 曽根卓朗,, 丹羽健太,, 齊藤翔一郎,, 粕谷貴司,, 砂原秀樹,, 江崎浩,. 日本ソフトウェア科学会学会誌『コンピュータソフトウェア』「ネットワーク技術」特集, vol. 34, no. 3, pp. 37-58, 2017, ISBN: 0289-6540 [Journal Article]BibTeX
• Software Defined Media: Virtualization of Audio-Visual Services
  Tsukada, Manabu, Ogawa, Keiko, Ikeda, Masahiro, Sone, Takuro, Niwa, Kenta, Saito, Shoichiro, Kasuya, Takashi, Sunahara, Hideki, Esaki, Hiroshi. IEEE International Conference on Communications (ICC2017), pp. 1-7, Paris, France, 2017, ISBN: 1938-1883 [Proceedings Article]BibTeX