Video Installation

Display, Web camera, PC, Video,
Sound
Duration: variable

Sound: AI-generated

On March 27, 2025, the landscape between Tachikawa and Tama Center was recorded with a high-resolution high-speed camera through the window of the Tama Monorail in western Tokyo. Taking this single recording as its source material, this work rewrites the temporal and spatial structure of the image through digital coordinate transformation, thereby transforming the very temporal and spatial experience of 'passing' itself.
Rendered through continuously varying timings and parameters, streams of transformed footage play on seamlessly, their paths shifting in response to the viewer's act of 'watching' or 'not watching' the screen. Responding to this non-linear generation, the sound is produced in real time through an AI model.
Carrying its contradictions within, the landscape flows endlessly on — from right to left, without cease.
In time, this flow quietly works upon the viewer's perception, and the relations between distance, speed, and time gradually come undone.

・リアルタイムサウンド生成モデルについて
本システムは、映像をインプットとし、その映像の内容に合ったサウンドを時間的な同期を取りながらリアルタイムで生成することができる、サウンド生成モデル「SpecMaskFoley[1]」をベースとしている。
このモデルは、映像に対して環境音や背景音といった持続的なサウンドだけでなく、例えば「グラスが落下し床に当たって割れる」といった瞬間的な事象に対しても、映像に同期したタイミングでサウンドを生成することができる。今回採用したSpecMaskFoleyは、映像の時間的な同期特徴量をモデルに入力する構造を持つことで、映像と生成音の同期を可能にしている。[2]
また、本モデルはサウンド生成をリアルタイムで行うことができるという点も大きな特徴である。モデル構造としては、SpecMaskGIT[3]と呼ばれるリアルタイムサウンド生成モデルをバックボーンとし、そこに映像の特徴量を入力できる構造を加えている。本作品では、常に不規則なループを繰り返す映像に対し、あらかじめ用意されたサウンドを映像に合わせて同じようにループさせるのではなく、その都度映像に応じたサウンドをその場で生成することで、鑑賞者は、人間には完全に制御しきれない音の生成過程に立ち会うことになり、音の知覚そのものへの問いに向き合う体験が生まれている。SpecMaskFoleyの高品質かつ軽量なモデル構造は、こうした要件を満たすうえで本作品に最適であると判断し採用した。
実装にあたっては、アーティストから提供されたモノレール車窓の実際の映像と、車内で録音した環境音のペアデータを含むデータセットをもとにモデルの学習を行った。初期の出力に対して、アーティストからは「時間や空間の条件が崩壊した映像に対して、AIが運動をどう解釈するのか聞いてみたい」、「電子音のような質感や、逆再生のように聞こえる不自然さは避けたい。リアルタイムに目の前で広がる風景として、速度感や運動感だけを判断させたい」というフィードバックがあった。こうした意図を受け、人間による過度に恣意的な音響操作や条件付けを避けつつ、AIならではの解釈をいかに引き出すかという視点から生成時のパラメータの細かな調整をおこない、映像に対するサウンドの忠実度・同期精度・音の自然さのバランスを探りながら、アーティストの意図する音響表現へと段階的に近づけていった。
ソニーグループ株式会社 Creative AI Lab. 長島
[1] SpecMaskFoley 論文（arxiv）https://arxiv.org/abs/2505.16195
[2] SpecMaskFoley デモページ https://zzaudio.github.io/SpecMaskFoley_Demo/
[3] SpecMaskGIT 論文(arxiv) https://arxiv.org/abs/2406.17672