The Agent Patch

概要

このソフトウェアでは、複数のAIエージェントが楽曲を聴き取り、その構造や展開を解析しながら音楽を再構成・リミックスしていきます。エージェント達はモジュラーシンセプラグイン、または実際のフィジカルなモジュラーシンセのCVパラメータを操作します。

現在のプロトタイプはヘッドレスのアプリケーションで、2トラック音源、stem音源、Ableton Liveのalsファイルを読み込むと、それをベースに解析・議論・エフェクトパターン生成・音源生成をオフラインレンダリングによって行います。

音源だけでなく、エージェント達の会話の様子、モジュラーシンセのパッチングやエフェクトの様子、そしてその派生としてVJ映像も生成しています。

3つのプロジェクション

すべての演出は60fpsの実測イベントデータ(JSON)を唯一の正として生成され、音・モジュラー可視化・エージェントの議論・VJ映像がフレーム精度で同期します。

技術詳細

パイプラインは完全に決定論的で、同じ入力からは常に同じ音と映像が再現されます。stem分離(Demucs)、楽曲解析、マルチエージェントLLMによる議論生成、62種のDSPプロセッサによるジェスチャー・リミックス、空間処理、SuperCollider合成のSEレイヤー、そして各プロジェクションのレンダリングまでがワンショットで動作します。

空間レイヤーはマルチチャンネルにも対応します。イベントJSONに記録された音場の方位・広がりの実測カーブを、任意のスピーカーリング(quad / 5.0 / hexa / octa / カスタム)へVBAPで再投影し、150Hz以下は常に全スピーカーへ等パワー分配してリズムの土台を固定します。同じカーブが映像のカメラや照明の同期チャンネルとしても機能します。

今後の展開

今後はリアルタイムパフォーマンスや、インタラクティブな制作ワークフローへと拡張します。エージェントによるフィジカルなモジュラーシンセのCV制御を含む、ライブ環境での運用を予定しています。

また、複数のハードウェア・モジュラーシンセの開発も視野に入れています。この構想に興味を持ってくださる方や企業とのコラボレーションを歓迎します。