各ノートの瞬時音量 vol_n(t) を Attack、Initial Decay、Long Tail の 3 段階で推定し、サステインペダル中は Note Off 後も音量を保持する設計とした。
128 次元の note_vol_list、note_accum_list、note_vel_list、note_chroma_list を生成し、発光、残像、クロマ制御に利用できるようにした。
国際的に活躍するピアニスト・角野隼斗が国内最大級の音楽専用アリーナ「Kアリーナ横浜」でクラシック公演を開催。舞台演出をライゾマティクス主宰の真鍋大度が担当した。
ビジュアルプログラマの堀井と石井が映像演出チームとして参加した。
Steinway Spirio から取得した MIDI ノート、ベロシティ、サステインペダルを主入力とし、Ableton Live、VST MIDI Plugin、Cycling ’74 Max を経由して Visualizer へ OSC 制御信号を送るリアルタイム可視化システムを構築した。
自由テンポのクラシック公演で自動推定だけに依存しないよう、オペレーターが譜面を見ながら /scene_main と /scene_sub を送信し、楽曲展開ごとのプリセット切替を確定する運用を採用した。
各ノートの瞬時音量 vol_n(t) を Attack、Initial Decay、Long Tail の 3 段階で推定し、サステインペダル中は Note Off 後も音量を保持する設計とした。
128 次元の note_vol_list、note_accum_list、note_vel_list、note_chroma_list を生成し、発光、残像、クロマ制御に利用できるようにした。
同時発音と近接発音の共起から 3D 埋め込みを生成するデータ駆動方式と、Pitch Helix、Torus、Fourier Phase Torus などの理論駆動方式を併用した。
曲固有の関係性を反映した配置と、演出意図に応じて切り替えられる固定幾何学モデルの両方を扱えるようにしている。
MuBu / FluCoMa で 10 次元特徴量、novelty、centroid、spread、2D 埋め込みを抽出し、MIDI では捉えにくい音響的変化を補助的に統合した。
プリペアドピアノなど MIDI が得られない場面では、マイク入力が唯一の制御信号となる前提で設計している。
主要 OSC は /note_vol、/note_accum、/sustain_on、/scene_main、/scene_sub、/mubu/features、/mubu/embedding2d。イベント系と 128 次元リスト系の両方を定義している。
OSC イベントにはタイムスタンプを付与せず、到着順とローカル受信時刻を基準に Visualizer 側で解釈する構成を採っている。
ライブ運用では、低オーバーヘッドと信頼性を優先して厳密同期よりも破綻しない切替を重視し、自動推定は補助情報として扱う。
主要制御は MIDI を軸に設計し、ホール残響や倍音密度の影響を受けやすい音響特徴量は補助信号として扱うことで、演出の安定性を確保した。











Hayato Sumino
Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
System & Interaction Design (Live System, Piano Analysis System, MIDI/Audio Reactive System, Interaction Design): Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
Live System Development & Operation: Kosaku Namikawa (7ild3)
Piano Analysis System Development: Sinan Bokesoy (sonicPlanet)
Lighting Design: Takayuki Fujimoto (Kinsei R&D)
Lighting Programming: Ludo Takebe (LDMC Inc.)
Lighting System Engineering: Kunio Tamada (TamaTechLab.)
Lighting System Development: 2bit (ISHII 2bit Program Office)
Lighting installation : Sachiko Matsui(SWEET STUFF GROUP CO.,ltd)
J.S. Bach: The Well-Tempered Clavier, Book I, No. 1 in C major, BWV 846 “Prelude and Fugue” – Visual Design & Programming: Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
J.S. Bach: Partita No. 2 in C minor, BWV 826
I. Sinfonia / II. Allemande / III. Courante / IV. Sarabande / V. Rondeaux / VI. Capriccio – Visual Design & Programming: Yuta Okuyama
John Cage: Sonata I from Sonatas and Interludes for prepared piano – Visual Design & Programming: Yuta Okuyama, Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
Hayato Sumino: Human Universe – Visual Design & Programming: 2bit (ISHII 2bit Program Office)
Ludwig van Beethoven: Piano Sonata No. 14 in C-sharp minor, Op. 27-2 “Moonlight”
I. Adagio sostenuto / II. Allegretto / III. Presto agitato – Visual Design & Programming: Satoshi Horii (Rhizomatiks)
Nikolai Kapustin: 8 Concert Etudes, Op. 40 – Nos. 1, 2, 3 – Visual Design & Programming: Satoshi Horii (Rhizomatiks)
Arvo Pärt: Für Alina – Visual Design & Programming: 2bit (ISHII 2bit Program Office)
Maurice Ravel: Jeux d’eau – Visual Design & Programming: Sogen Handa (Freelance)
Hayato Sumino: Postlude “Amadare” – Visual Design & Programming: Tatsuya Ishii (Rhizomatiks)
John Cage: Sonata XII from Sonatas and Interludes for prepared piano – Visual Design & Programming: Yuta Okuyama, Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
Hayato Sumino: Nocturne II ? After Dawn – Visual Design & Programming: Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
Hayato Sumino: “Twinkle, Twinkle, Little Star” Variations – Seven Levels – Visual Design & Programming: Satoshi Horii (Rhizomatiks)
Technical Direction, Staging System Development & Operation: Kosaku Namikawa (7ild3)
Stage Engineering : So Ozaki
Data Editing: Kosaku Namikawa(7ild3), Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks), Kyoko Koyama, Hope Box
Technical Support : Kyo Imai
Assistant: Keke(Rhizomatiks)
Venue Modeling : Masahiro Kadokawa(Cuddys Pic)
Producer: Daito Manabe (Studio Daito Manabe, sonicPlanet, Rhizomatiks)
Co-Producer, Project Management: Takao Inoue (Rhizomatiks)
Production Management: Kosaku Namikawa (7ild3)
IRCAM
sonicLAB, sonicPlanet
Studio Daito Manabe
7ild3
Rhizomatiks






FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。