Video Installation

Display, Web camera, PC, Video, Sound

Duration: variable 

Sound: AI-generated

2025年3月27日、多摩モノレールの車窓から立川―多摩センター間の風景を高解像度ハイスピードカメラで記録した。本作は、この一つの映像を素材に、デジタル座標変換によって映像内の時間と空間の構造を書き換え、「通過」という時間的・空間的経験そのものを変容させる。
タイミングやパラメーターを変えながら変換出力された映像群は観者の画面を「見る／見ない」という振る舞いに応じて道筋を変えながら、シームレスに再生を続ける。音響はこのノンリニアな生成に応答するかたちで、AIモデルを通してリアルタイムに生成される。
風景は矛盾を伴いながらも、右から左へと永遠と流れ続ける。やがて、見る人の知覚へ作用し、距離、速度、時間の関係は、緩やかにほどけていく。

・リアルタイムサウンド生成モデルについて
本システムは、映像をインプットとし、その映像の内容に合ったサウンドを時間的な同期を取りながらリアルタイムで生成することができる、サウンド生成モデル「SpecMaskFoley[1]」をベースとしている。
このモデルは、映像に対して環境音や背景音といった持続的なサウンドだけでなく、例えば「グラスが落下し床に当たって割れる」といった瞬間的な事象に対しても、映像に同期したタイミングでサウンドを生成することができる。今回採用したSpecMaskFoleyは、映像の時間的な同期特徴量をモデルに入力する構造を持つことで、映像と生成音の同期を可能にしている。[2]
また、本モデルはサウンド生成をリアルタイムで行うことができるという点も大きな特徴である。モデル構造としては、SpecMaskGIT[3]と呼ばれるリアルタイムサウンド生成モデルをバックボーンとし、そこに映像の特徴量を入力できる構造を加えている。本作品では、常に不規則なループを繰り返す映像に対し、あらかじめ用意されたサウンドを映像に合わせて同じようにループさせるのではなく、その都度映像に応じたサウンドをその場で生成することで、鑑賞者は、人間には完全に制御しきれない音の生成過程に立ち会うことになり、音の知覚そのものへの問いに向き合う体験が生まれている。SpecMaskFoleyの高品質かつ軽量なモデル構造は、こうした要件を満たすうえで本作品に最適であると判断し採用した。
実装にあたっては、アーティストから提供されたモノレール車窓の実際の映像と、車内で録音した環境音のペアデータを含むデータセットをもとにモデルの学習を行った。初期の出力に対して、アーティストからは「時間や空間の条件が崩壊した映像に対して、AIが運動をどう解釈するのか聞いてみたい」、「電子音のような質感や、逆再生のように聞こえる不自然さは避けたい。リアルタイムに目の前で広がる風景として、速度感や運動感だけを判断させたい」というフィードバックがあった。こうした意図を受け、人間による過度に恣意的な音響操作や条件付けを避けつつ、AIならではの解釈をいかに引き出すかという視点から生成時のパラメータの細かな調整をおこない、映像に対するサウンドの忠実度・同期精度・音の自然さのバランスを探りながら、アーティストの意図する音響表現へと段階的に近づけていった。
ソニーグループ株式会社 Creative AI Lab. 長島
[1] SpecMaskFoley 論文（arxiv）https://arxiv.org/abs/2505.16195
[2] SpecMaskFoley デモページ https://zzaudio.github.io/SpecMaskFoley_Demo/
[3] SpecMaskGIT 論文(arxiv) https://arxiv.org/abs/2406.17672