Native Capture
参加者をカメラで撮影し、Runway生成に使用する静止画を取得します。イベントでは、子供たちがカメラの前に立ち、ジャンプやポーズを行い、その瞬間をオペレーターが撮影しました。
Runway API powered participatory AI video system
参加者の身体を Runway image-to-video で変換し、VJ素材としてライブ空間へ戻す参加型AI映像生成システム。
“Zero Gravity” は、「身体が重力から解放される感覚」をテーマにした参加型メディアアートです。
子供たちはカメラの前でジャンプし、走り、ポーズを取り、踊ります。その身体はAIによって変換され、空中に浮かぶような映像、重力から外れたような映像、現実では起こらない身体の動きへと変化します。
重要なのは、映像の中で「飛んでいる」ことだけではありません。自分の身体がその場で映像へ変換され、会場全体に戻ってくることです。
移植元の Runway grid で使用されていた素材のうち、「重力がなくなる」プロンプトで生成した16種類の動画を、WebM VP9を優先したインラインのループ再生として表示しています。互換性のため MP4 fallback も残しています。
Note: 本番展示では実写の撮影素材を使用していましたが、この公開用ページでは子供の顔を匿名化するため、生成素材をお絵かきタッチに変更しています。ヘッダー動画には「重力がなくなる」のプロンプトで生成した素材だけを使用しています。
ライブイベント中でも扱えるように、撮影、生成、再生、制御を分離して設計しました。AI生成映像は単独の成果物ではなく、DJ/VJの流れの中で再利用できる素材として扱われます。
撮影、生成、再生、制御、VJ出力に関わるすべてのコードは Daito Manabe によって開発されました。
撮影、Runwayバッチ送信、生成進行状況、VJ再生を分けるため、Beaton VJ Capture と Beaton VJ Player の2つのネイティブアプリで運用しました。
Camera preview: 中央のカメラプレビューに写っている人物は Daito Manabe 本人です。
撮影された画像は Runway API へ送信され、短い映像へ変換されます。生成された映像は Native Player に読み込まれ、LEDスクリーン上で音楽や会場の反応と結びつけられました。
参加者をカメラで撮影し、Runway生成に使用する静止画を取得します。イベントでは、子供たちがカメラの前に立ち、ジャンプやポーズを行い、その瞬間をオペレーターが撮影しました。
撮影された画像は Runway image-to-video 生成へ送信されます。生成の方向性は、身体が浮く、空中へ飛ぶ、重力から解放されるといった感覚を中心に設計しました。
生成された映像は VJ素材として再生されます。単独で見せるのではなく、DJ/VJの流れの中で LEDスクリーンへ出力されます。
OSCやMax for Liveを通じて、再生、ループ、シャッフル、BPM同期などを制御しました。これにより、AI生成映像をライブパフォーマンスの中で扱える素材として運用しました。
“Zero Gravity” と “Transformirror 2026” は別作品です。両者は BEATON BANBAN の会場で並行して展開されましたが、作品としての役割は異なります。
| Zero Gravity | Runway APIによる参加型AI映像生成。撮影された身体が短い映像へ変換され、VJ素材として空間へ戻る。 |
|---|---|
| Transformirror 2026 | Daito Manabe と Kyle McDonald によるリアルタイム映像変換のインタラクティブ作品。 |
子供たちは、AI技術を説明される前に、まず身体で理解していました。映像が変わると、跳ねる。近づく。友達と一緒に入る。ポーズを変える。もう一度試す。
最も強かったのは、生成された映像そのものではなく、その映像が会場に戻った瞬間でした。AI映像生成は単なるコンテンツ制作ではなく、空間の反応装置になっていました。
DJ/VJ、LED、音、映像、反応の構造は、子供向けイベントでも成立しました。“Zero Gravity” は、身体性と遊びを中心に置き直した audiovisual playground として機能しました。
“Zero Gravity” is a participatory AI video generation system powered by the Runway API. Participants are captured by camera, and their still images are sent to Runway image-to-video generation. The generated clips show children floating, flying, or appearing to escape gravity.
The clips are not treated as isolated outputs. They are returned to the venue as live VJ material and displayed on the LED screen as part of the DJ/VJ environment.
The work turns the participant's body into both input and performance material, creating a feedback loop between body, AI generation, screen, sound, and audience reaction.
FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。