SDMオントロジー：空間・時間を横断するメディア体験のための記述基盤

[2017 – 2023]

空間的・時間的文脈を持つメディアデータを記述・活用するためのオントロジーと対話的アプリケーションの設計・実装。

インターネットを前提とした視聴サービスが一般化し、ユーザーが能動的に視点を選んで体験を構成するインタラクティブなアプリケーションへの関心が高まっています。これに伴い、映像・音声だけでなく、それらが「いつ」「どこで」「どのように」記録されたのかという空間的・時間的な情報を統合的に扱う必要性が顕在化してきました。私たちは、こうした文脈情報を記述・共有可能とするために、Software Defined Media（SDM）オントロジーの設計と応用に取り組んできました。

SDMオントロジーは、映像・音声・センサーデータなどの「時空間メディア」と、それに関わる記録装置、処理システム、環境情報を柔軟に記述するためのメタデータ基盤です。コンサートやイベントの収録においては、マルチカメラ・マイク構成で得られたデータとその配置、対象オブジェクト、意味的なラベルをSDMオントロジーに基づいて整理し、Linked Open Data（LOD）として公開する取り組みを行っています。この設計は、参加者や制作者に限らず、第三者による再利用や応用的活用を容易にすることを意図しています。

このオントロジーを活用した代表的なアプリケーションが、Webベースのインタラクティブ視聴ツール「Web360²」です。Web360²はLODとして構造化された360度映像や空間音響をクエリによって取得し、ブラウザ上で視聴者が任意の視点・聴点から体験できるデータ駆動型のアプリケーションです。ユーザー評価を通じて、その直感的な操作性と高い没入感が確認されており、教育・芸術・エンタメなどへの波及が期待されています。

本研究は、視聴体験の多様性と拡張性を支える情報構造の提案として位置づけられます。今後は、時空間メディアとAIによる文脈理解の連携、都市空間の記録と再構成、メタバースとリアル空間を繋ぐハブ技術としての発展が見込まれています。

Publication

• An Ontology for Spatio-Temporal Media Management and an Interactive Application
  Sone, Takuro, Kato, Shin, Atarashi, Ray, Nakazato, Jin, Tsukada, Manabu, Esaki, Hiroshi. Future Internet, vol. 15, iss. 7, no. 225, 2023, ISSN: 1999-5903 [Journal Article]BibTeX
• The Software Defined Media Ontology for Music Events
  Atarashi, Ray, Sone, Takuro, Komohara, Yu, Tsukada, Manabu, Kasuya, Takashi, Okumura, Hiraku, Ikeda, Masahiro, Esaki, Hiroshi. Workshop on Semantic Applications for Audio and Music (SAAM) held in conjunction with ISWC 2018, Monterey, California, USA., 2018 [Workshop]BibTeX
• SDM Ontology: Software Defined Mediaのメタデータ管理のためのOntology
  菰原裕,, 塚田学,, 江崎浩,, 曽根卓朗,, 池田雅弘,, 高坂茂樹,, 新麗,, 新善文,. マルチメディア，分散，協調とモバイル(DICOMO2017)シンポジウム, 北海道札幌市, 2017 [Conference]BibTeX