概要

本研究では，Oculus Quest 2 および VIVE トラッカーを用いたモーショントラッキングと，HI5 VR Glove を用いたハンドトラッキングにより，日常的な人の動作を計測し，そのキャプチャーデータを音楽情報に変換することで，動作の可聴化を試みた．これまでにも，脳波を計測しそのデータを音楽に変換する研究等があるが，本研究ではより低コストな機器を用いて，新たに体の動き自体を音楽化するシステム開発を行った．アンケートによる評価実験の結果から，動作を可聴化するインタフェースがユーザに動作を可聴化する感覚を提供できることが分かった．また，動作を可聴化するインタフェースを応用することで，音響を扱ったインタラクティブメディアにおいて有効な手段となり得ることを示す．すなわち，動作によって音響を生成することが，メディアアートやインタラクティブアートにおける新しい音楽表現手法の提案の可能性を述べる．