# 音×色の共感覚（クロマステージア）リサーチ集

> 目的：**ファレル（Pharrell Williams）が語る「音が色に見える」感覚**を、作品として体験可能な形に落とすための先行事例集。
> 
> このドキュメントは、サイト（`index.html`）の内容を **Markdownとして完全版**にまとめたものです。作品ページ／論文／YouTube などの外部リンクを多数含みます。

---

## 0. まず押さえる設計原理（制作向け）

**A. 対応が“安定している”こと（Consistency）**  
共感覚の大きな特徴は「同じ刺激→同じ知覚」が繰り返し起きる点。作品内でマッピングが頻繁に変わると、体験が“演出”に寄りすぎてしまうので、
- 1つの体験セッション内では対応表（mapping）を固定
- 変えるなら「切替の理由（キー転調／場面転換／観客が選ぶ）」を明示
…のように“納得できる更新”にする。

**B. 階層を分ける（Pitch / Key / Rhythm / Timbre）**  
「音→色」を一つの式で全部やろうとすると弱い。たとえば：
- **ピッチ（周波数） → 色相（Hue）**
- **音量 → 明度（Lightness）**
- **音色（スペクトルの尖り/散り） → 彩度（Saturation）や粒子感**
- **キー/和声の整合 → “色の合う/ズレる”**

**C. 身体性（視覚だけに閉じない）**  
“見える”を視覚エフェクトだけで表現すると、観客の身体に残りにくい。
- 触覚（振動）
- 空間音響（定位／反射）
- 空間スケール（光が身体を包む）
…などで「確かさ」を作る事例が多い。

**D. 観客を“共作者”にする**  
観客が自分で対応表を作る／ズレを発見する設計は、共感覚を「固定の答え」ではなく「個人差のある知覚」として扱える。

---

## 1. Pharrell（ファレル）の共感覚：入口になる一次情報

### 1-1. NPR（2013）：「音が色に見える」／「キーの一致＝色の一致」
- NPR: **Pharrell Williams On Juxtaposition And Seeing Sounds**（2013）  
  https://www.npr.org/sections/therecord/2013/12/31/258406317/pharrell-williams-on-juxtaposition-and-seeing-sounds

### 1-2. 『Piece By Piece』（2024）：LEGOアニメで共感覚を可視化する
- Focus Features（公式）：Trailer / News / Interview  
  https://www.focusfeatures.com/video/piece-by-piece-trailer
- YouTube（公式トレーラー）：
  - Trailer 1：https://www.youtube.com/watch?v=7Bc6trBc1kc
  - Trailer 2：https://www.youtube.com/watch?v=tD6YXZfC6QI
- Complex（インタビュー）：
  https://www.complex.com/pop-culture/a/ryan-gaur/pharrell-williams-piece-by-piece-morgan-neville-interview-synesthesia-music-colors

---

## 2. 歴史：色を“奏でる”装置（Color Organ）から、視覚音楽へ

### 2-1. 眼のクラヴサン（Ocular Harpsichord）— Louis‑Bertrand Castel（1725 構想）
**ポイント**：色と音の対応を“思想”ではなく“楽器”として構想した原点。
- Linda Hall Library（解説）：https://www.lindahall.org/about/news/scientist-of-the-day/louis-castel/
- Cabinet Magazine（文脈）：https://www.cabinetmagazine.org/issues/22/peel.php/1000
- Imaginary Instruments（解説）：https://imaginaryinstruments.org/ocular-harpsichord/

### 2-2. Scriabin『Prometheus（Poem of Fire）』と「clavier à lumières」
**ポイント**：スコアに“光のパート”を記譜し、音楽と照明を連動させようとした。
- Music Theory Online（学術）：https://mtosmt.org/issues/mto.12.18.2/mto.12.18.2.gawboy_townsend.html
- Yale News（公演説明）：https://news.yale.edu/2010/01/15/scriabin-s-prometheus-be-performed-yale-living-color
- Boston Symphony Orchestra（作品解説）：https://www.bso.org/works/scriabin-prometheus-poem-of-fire

### 2-3. Kandinsky『The Yellow Sound（Der Gelbe Klang）』— 色・動き・音の総合
- 解説（WassilyKandinsky.net）：https://www.wassilykandinsky.net/yellowsound.php

---

## 3. 映像（Visual Music / 抽象アニメーション）：音を“見せる”系譜

### 3-1. Disney『Fantasia』（1940）
**ポイント**：クラシック音楽を映像で“解釈”する大衆的な到達点。
- Wikipedia：https://en.wikipedia.org/wiki/Fantasia_(1940_film)
- YouTube（トレーラー例）：https://www.youtube.com/watch?v=h_j5NvHWmpM

### 3-2. Oskar Fischinger『An Optical Poem』（1938）
**ポイント**：音楽の“心像”を幾何学形態で同期させる、視覚音楽の代表。
- IMDb：https://www.imdb.com/title/tt0029350/
- YouTube：
  - https://www.youtube.com/watch?v=FcHsysPGSt0
  - https://www.youtube.com/watch?v=6Xc4g00FFLk

### 3-3. Len Lye『A Colour Box』（1935）
**ポイント**：フィルムに直接描く“direct film”。音（ダンス曲）と色の気分・リズムが直結。
- Wikipedia：https://en.wikipedia.org/wiki/A_Colour_Box
- Cinemini Europe（解説）：https://cinemini-europe.eu/film-catalogue/a-colour-box
- YouTube：https://www.youtube.com/watch?v=fOEqTwwkB3Y

### 3-4. Mary Ellen Bute『Rhythm in Light』（1934/35）
**ポイント**：“Visual Music”を体系的に展開した先駆。抽象形態を音楽の構造として扱う。
- Eastman Museum（解説）：https://www.eastman.org/mary-ellen-bute-rhythms-light
- YouTube：https://www.youtube.com/watch?v=850AmGWl-Ko

### 3-5. Norman McLaren『Synchromy』（1971）
**ポイント**：音声トラックの“形”を、そのまま画面にも展開して「見える音」にする。
- NFB（公式）：https://www.nfb.ca/film/synchromy/
- YouTube：https://www.youtube.com/watch?v=_UA40sL06sU

---

## 4. 展覧会・インスタレーション：環境としての「共感覚」

### 4-1. 『What Sound Does a Color Make?』（Independent Curators International, 2005–）
**ポイント**：デジタル技術で“音と映像を同じ情報空間（bits）として扱う”ことで、感覚横断表現が加速したという視点。
- ICI（展示概要）：https://curatorsintl.org/exhibitions/9047-what-sound-does-a-color-make
- University of Hawaii（展示ページ）：https://www.hawaii.edu/artgallery/sound/welcome.html
- 書籍（カタログ）：https://curatorsintl.org/shop/15766-what-sound-does-a-color-make

### 4-2. 『The Color of Sound』（Sun Valley Museum of Art, 2023）
**ポイント**：共感覚当事者の作品と、当事者でない作家の“共感覚的体験を作る試み”を並置。
- SVMoA（展示概要）：https://www.svmoa.org/index.php/exhibitions/2023/the-color-of-sound
- YouTube（展示紹介）：https://www.youtube.com/watch?v=OW9iZUKr7o0

### 4-3. Inside Yellow Sound（University of Leeds / Extant, 2021）
**ポイント**：Kandinskyの『Yellow Sound』を基に、視覚障害者も含む観客向けに“多感覚”で再構成。
- Leeds（紹介）：https://echome.leeds.ac.uk/inside-yellow-sound/
- Extant（紹介）：https://extant.org.uk/productions/inside-yellow-sound
- YouTube（紹介）：https://www.youtube.com/watch?v=gD8GMUKftrQ

---

## 5. インタラクティブ／デジタル作品：観客が“変換”を触れる

### 5-1. Reverse Color Organ（Ellen Hackl Fagan, 2003–）
**ポイント**：「色→音」を観客のスマホで行い、個人差を“集合知”として扱う発想。
- 公式：https://reversecolororgan.com/
- About（背景）：https://reversecolororgan.com/about/
- 作品ページ（解説）：https://ehfaganstudio.com/reverse-color-organ

### 5-2. I am Sound（Tamiko Thiel + Christoph Reiserer, 2016）
**ポイント**：顔をスキャンし、映像（キュビズム的肖像）と音（ミニマル曲）を相互変換する参加型。
- 公式（ドキュメント）：https://mission-base.com/i-am-sound/
- ISEA Archives（ステートメント）：https://www.isea-symposium-archives.org/art-events/i-am-sound-by-tamiko-thiel-christoph-reiserer/
- YouTube（デモ）：https://www.youtube.com/watch?v=xj_MgZzSyuI

### 5-3. DIGITAL SYNESTHESIA（研究プロジェクト, 2013–2016）
**ポイント**：芸術研究として「デジタル技術が“共感覚的体験”を可能にする条件」を扱う。
- FWF（研究概要）：https://www.fwf.ac.at/en/research-radar/10.55776/AR196
- IPSD（紹介）：https://ipsd.uni-ak.ac.at/news/digital-synesthesia-website-reanimated/

### 5-4. Multisensory Interactive Installation（Daniela Voto, 2004頃）
**ポイント**：Kandinsky絵画の色と音楽トラックを対応させ、観客が視覚要素を操作して音を生成。
- PDF（論文）：https://smc.afim-asso.org/smc05/papers/DanielaVoto/MII%20Paper%20Salerno.pdf

### 5-5. Google Doodle: Oskar Fischinger（2017）
**ポイント**：抽象形態で“視覚作曲”できる軽量なインタラクティブ。
- Doodles（解説）：https://doodles.google/doodle/oskar-fischingers-117th-birthday/
- 実際のDoodle（プレイ）：https://www.google.com/logos/2017/fischinger/fischinger17.html

---

## 6. ゲーム：共感覚を「遊び」として成立させる

### 6-1. Rez Infinite（2001/2016/2023）
**ポイント**：操作がビートに同期し、色・音・振動が“ひとつの経験”になる設計。
- PlayStation（公式説明）：https://www.playstation.com/en-us/games/rez-infinite/
- 公式サイト（日本語）：https://www.rezinfinite.com/ja/
- YouTube（ローンチトレーラー例）：https://www.youtube.com/watch?v=d5Tp25kyH7E

### 6-2. Synesthesia Suit（Rez Infinite関連, 2016）
**ポイント**：触覚（26個の振動子）＋光（LED）で“音を身体で聞く”。
- Rez Infinite（公式）：https://www.rezinfinite.com/synesthesia-suit/
- Synesthesia-Suit.com（紹介）：https://synesthesia-suit.com/
- Rhizomatiks（解説）：https://research.rhizomatiks.com/en/works/rez_infinite.html

---

## 7. 研究・制作の助けになる「言葉」

### 7-1. 「bits」化による統合（音も映像も同じ情報表現になる）
- 展覧会『What Sound Does a Color Make?』のステートメントが分かりやすい：
  https://curatorsintl.org/exhibitions/9047-what-sound-does-a-color-make

### 7-2. “Visual Music” の系譜（Color Organ → 抽象アニメ → デジタル）
- Animation World Network（William Moritz）：
  https://www.awn.com/mag/issue2.1/articles/moritz2.1.html

---

## 8. 同梱画像（クレジット）

### 8-1. Kandinsky “Gelb‑Rot‑Blau” (1925)

![Kandinsky - Gelb-Rot-Blau (1925)](../_optimized_images/batches/20260311-144145/p-research-v2/assets/img/kandinsky_gelb_rot_blau_1925.webp)

- 画像ページ（Public Domain 表記あり）：
  https://commons.wikimedia.org/wiki/File:Kandinsky_-_Gelb-Rot-Blau,_1925.jpg

### 8-2. Mary Elizabeth Hallock Greenewalt と Sarabet（ca.1920）

![Greenewalt with Sarabet (ca. 1920)](../_optimized_images/batches/20260311-144145/p-research-v2/assets/img/greenewalt_sarabet_ca1920.webp)

- Hagley Museum & Library（記事内画像）：
  https://www.hagley.org/research/news/hagley-vault/todays-techtuesday-post-features-mary-elizabeth-hallock-greenewalt

---

## 9. このzipの使い方（ローカルで“ウェブサイト”として開く）

1. `index.html` をダブルクリックしてブラウザで開く
2. 「シミュレーション」
   - `🎙 マイク`：マイク許可が必要
   - `🔊 発振音`：許可不要（デモ用）
3. `report.md` はリンク集として独立して読めます（GitHub等でも表示できます）

---

### 更新メモ
- 追加したい作品が出てきたら `data/works.json` に追記するとサイトの「作品リスト」に自動で反映されます。