← PROJECTS

「音が色に見える」を、体験として設計する

映画・アニメ・インスタレーション・インタラクティブ作品を横断して、 音↔色の変換・同期・没入を扱う先行事例を集めました。 下のシミュレーションでは、マイク/発振音からリアルタイムに色の動きを生成できます。

※このサイトはローカルで開ける静的ページです。外部リンク(公式サイト/YouTube/論文PDFなど)を多数含みます。

Pharrellのクロマステージア(音→色)

本人の言葉(要点)

  • 「音楽を聴くと色として見える」— 音と視覚が結び付いている感覚。
  • 「同じキーかどうかは”色が一致するか”で分かる」— 色が音の”フレームワーク”になる。
  • 映画『Piece By Piece』では、この感覚をLEGOアニメで可視化する試みが語られる。
参照:NPRインタビュー(2013)/『Piece By Piece』関連インタビュー(2024)

作品化の設計ヒント(抽象)

  1. 一貫性:同じ刺激→同じ色(「安定した対応」)
  2. 階層:ピッチ/キー/リズム/音色が、それぞれ別の”色パラメータ”に効く
  3. 身体性:視覚だけでなく、触覚・空間音響・没入で”確かさ”を作る
  4. 自分ごと化:観客が対応表を作る/ズレを発見する設計(例:RCO)

ここでのヒントは、ファレル固有の対応表を断定するものではなく、 “音が色に見える”という体験をインタラクションとして再現するための一般化です。

So when you're hearing music, you see it in color.
— Pharrell Williams(NPR Morning Edition / The Record, 2013)

先行事例(映画 / インスタレーション / インタラクティブ / ゲーム / 研究)

音→色 シミュレーション(WebAudio)

マイク入力(または発振音)を解析して、色相(Hue)/彩度(Saturation)/明度(Lightness)をリアルタイムに変化させます。 作品の初期プロトタイピングに使える「最低限の共感覚エンジン」です。

コントロール

マイクはブラウザの許可が必要です。許可できない環境では発振音を使ってください。

スナップショットはキャンバスをPNGにして保存します(ブラウザのダウンロード機能を利用)。

出力

作品プロトタイプに落とし込むなら

  • キー/和声→色の”整合”(Pharrellの語り):色が合う/ズレる感覚で「正しさ」を演出
  • 観客に対応表を作らせる(RCO):色→音/音→色の個人差を作品にする
  • 身体へ拡張(Synesthesia Suit):振動・光・空間で「音を浴びる」

資料(リンク集)

ローカル素材(同梱画像)

Wassily Kandinsky, Gelb-Rot-Blau (1925)
Kandinsky “Gelb-Rot-Blau” (1925) – Public Domain(Wikimedia Commons)
Mary Elizabeth Hallock Greenewalt with her color organ Sarabet (ca. 1920)
Mary E. Hallock Greenewalt と Sarabet(ca.1920)— Hagley Museum & Library

画像のクレジット・リンクは report.md にまとめています。