DFT位相を使って和声をトーラス上にマッピング。位置が和声的特徴を反映します。
読み込み中...
真鍋 × 角野 ピアノビジュアライゼーションプロジェクトは、自動演奏およびライブピアノ演奏のMIDIデータを多次元空間にマッピングし、リアルタイムで可視化します。
中核となる信号は128次元ベクトル /note_vol_list (float[128]) で、88鍵それぞれの「現在の強度」を表し、さまざまな数理モデルを用いて演奏の構造とニュアンスを2D/3Dビジュアルとして表現します。
レイヤー1: Max/MSPがMIDIとペダルデータから「サステイン後音量」を算出
レイヤー2: Pythonが共起行列と次元削減(UMAP, t-SNE, PCAなど)を用いて曲固有の「音の地図」を生成
レイヤー3: 埋め込みをJSONとしてエクスポート
レイヤー4: ビジュアライザーが埋め込みを読み込み、OSC経由で点群と重心軌跡を描画
プランA(ML埋め込み): 128音をデータ駆動の埋め込み空間に配置し、発光する点と移動する重心を通じて曲固有の構造を表現。
プランB(理論ベース): ヘリックス、トーラス、トネッツ、ハーモニックテーブル、位相トーラス、プラネット4D - 音楽理論と信号処理に基づく普遍的ピッチ空間。
サステインペダル(CC64)対応のグランドピアノ型エンベロープモデル:
1. ベロシティ → 目標音量:
V = velγ × (1 + bias × (center - note) / 48)
γ=1.6, bias=0.12, center=60 (C4)
2. アタックフェーズ (2-65ms):
V(t) = target × (t/T)1/shape
shape: 0.8(強打)〜 2.8(弱打)
3. 初期減衰 → サステインレベル:
plateau = 55%(強打)〜 84%(弱打)
40-320msにわたる指数減衰
4. ロングテール(半減期減衰):
HL = 1800ms × 2(60-note)/12 × 0.55 × velFactor × pedalMult
サステインペダルで半減期を2.5倍に延長
本プロジェクトは、演奏構造の解析結果をリアルタイムのビジュアル表現に結びつけることで、ピアノを多次元楽器として拡張します。
ホワイトペーパー全文を読む >