Squarepusher "Terminal Slam" MV

本作は、広告看板や人物領域を検出・マスクし、消去、置換、グリッチ、光学迷彩の処理を加えることで、AR/MRグラス越しの都市が自由に書き換えられる未来像をMVとして提示しています。

人物や物体の検出には既存の機械学習を用いながら、周期的に変化する広告看板の位置情報は手作業で補完されています。その解析データをマスクへ変換し、映像の特定領域だけに効果を適用する構造です。

Researchページの素材を一度ローカルへ保存し、公開側ではWebPへ変換しています。ここでは元映像、検出、マスク、深度、修復の代表フレームを同じ比率で確認できます。

グリッチと音を同期させるため、機械学習で取得したデータをMax patch上でコンポジションし、JSONを書き出したうえでC++アプリケーションから映像を書き出す構成が採用されています。音響側ではSpleeterによりドラムとベースを分離し、反応精度を高めています。

グリッチ処理は単なる装飾ではなく、検出された人・広告・都市の表面を別のレイヤーへ引き剥がすための視覚言語として機能しています。

都市にある広告をSquarepusher由来の広告へ置換するために、映像内で使うフェイク広告も制作されています。

クレジットはRhizomatiksの作品ページとResearch BTSページに記載された情報を整理しています。