EMS (Electrical Muscle Stimulation) を用いて顔の筋肉に電気刺激を与え、意図しない表情変化を生み出す。テクノロジーと身体の境界を問う実験的プロジェクト。
About
Origin
音楽のビートに合わせて顔の8箇所に電気刺激を送り、まるで顔が「踊っている」かのような表情変化を生み出す。テクノロジーと身体の境界、制御と非制御の関係性を問いかける作品として世界中で反響を呼んだ。
Simulator
実際に顔に電気を流す前に、8つの刺激ポイントの配置・歪み方向の調整・目標表情の最適化を安全に繰り返し実験する。カメラで顔を認識し、画像処理で電気刺激時の顔の変形を再現する。
System
Webカメラからリアルタイム映像取得
MediaPipe 478点ランドマーク + 52 Blendshapes
8つのEMSポイントを自動配置
ガウシアンフォールオフで画像ワーピング
EMSデバイスへリアルタイム送信
Interactive
Features
Real-time
MediaPipe Face Landmarkerによるリアルタイム顔ランドマーク検出。52種類のBlendshapesを同時取得。
Warping
各EMSポイントの刺激値に基づいてガウシアンフォールオフで自然な顔画像ワーピングを実現。
Optimization
笑顔度を最大化する最適な刺激パターンをSimulated Annealingアルゴリズムで自動探索。
Protocol
Connection
SuperCollider, Max/MSP, TouchDesigner等の外部ツールや実際のEMSコントローラーとリアルタイム連携。
Protocol
8つの刺激値を個別またはまとめてOSCで送信。笑顔度スコアも同時に送信可能。
| Address | Type | Description |
|---|---|---|
| /ems/stim/0 | float | 右目尻外の刺激値 (0.0 - 1.0) |
| /ems/stim/1 | float | 右目尻内の刺激値 |
| /ems/stim/2 | float | 左目尻内の刺激値 |
| /ems/stim/3 | float | 左目尻外の刺激値 |
| /ems/stim/4 | float | 右頬の刺激値 |
| /ems/stim/5 | float | 左頬の刺激値 |
| /ems/stim/6 | float | 右口角の刺激値 |
| /ems/stim/7 | float | 左口角の刺激値 |
| /ems/stim/all | list[float] | 全8ポイントの刺激値 |
| /ems/smile | float | 笑顔度スコア (0.0 - 1.0) |
このシミュレーターは画像処理による近似です。実際のEMS使用時は以下に注意してください：