← Selected Works

Runway API powered participatory AI video system

Zero Gravity

参加者の身体を Runway image-to-video で変換し、VJ素材としてライブ空間へ戻す参加型AI映像生成システム。

Concept

“Zero Gravity” は、「身体が重力から解放される感覚」をテーマにした参加型メディアアートです。

子供たちはカメラの前でジャンプし、走り、ポーズを取り、踊ります。その身体はAIによって変換され、空中に浮かぶような映像、重力から外れたような映像、現実では起こらない身体の動きへと変化します。

重要なのは、映像の中で「飛んでいる」ことだけではありません。自分の身体がその場で映像へ変換され、会場全体に戻ってくることです。

  1. Camera Capture
  2. Runway API
  3. Image-to-Video Generation
  4. VJ Material
  5. LED Screen Playback
  6. Audience Reaction
  7. Participant Movement

Generated Material Grid

移植元の Runway grid で使用されていた素材のうち、「重力がなくなる」プロンプトで生成した16種類の動画を、WebM VP9を優先したインラインのループ再生として表示しています。互換性のため MP4 fallback も残しています。

Note: 本番展示では実写の撮影素材を使用していましたが、この公開用ページでは子供の顔を匿名化するため、生成素材をお絵かきタッチに変更しています。ヘッダー動画には「重力がなくなる」のプロンプトで生成した素材だけを使用しています。

System

ライブイベント中でも扱えるように、撮影、生成、再生、制御を分離して設計しました。AI生成映像は単独の成果物ではなく、DJ/VJの流れの中で再利用できる素材として扱われます。

撮影、生成、再生、制御、VJ出力に関わるすべてのコードは Daito Manabe によって開発されました。

Input
Camera capture of participants
AI generation
Runway Gen-4.5 image-to-video
Backend
Node.js server / WebSocket
Playback
Native Player
Control
OSC / Max for Live
Output
LED screen / Syphon
Format
Portrait 9:16 inside 16:9 live canvas
Playback mode
BPM sync / loop / pingpong / shuffle

Application Capture

撮影、Runwayバッチ送信、生成進行状況、VJ再生を分けるため、Beaton VJ Capture と Beaton VJ Player の2つのネイティブアプリで運用しました。

Camera preview: 中央のカメラプレビューに写っている人物は Daito Manabe 本人です。

Beaton VJ Player output showing drawing-style zero gravity material in a 16:9 canvas
Player output: 9:16の生成素材を16:9のライブキャンバス内に配置し、LED / Syphon 出力へ送るプレビュー。
Beaton VJ Capture interface with camera preview and AI processing panel
Beaton VJ Capture: カメラ入力、顔検出、Runwayタスク状況、最新生成プレビューを同じ画面で確認。中央のカメラプレビューには Daito Manabe 本人が写っています。
Beaton VJ Player playback controls for prompt selection, BPM sync, loop range, and Syphon output
Beaton VJ Player: プロンプト選択、BPM同期、ループ範囲、シャッフル、Syphon出力をライブ中に制御。
Batch Images window for selecting still images and starting a Runway generation batch
Batch Images: 入力画像の選択、9:16化、Runwayバッチ生成の開始と進行状況を扱うオペレーション画面。

Technical Structure

撮影された画像は Runway API へ送信され、短い映像へ変換されます。生成された映像は Native Player に読み込まれ、LEDスクリーン上で音楽や会場の反応と結びつけられました。

Native Capture

参加者をカメラで撮影し、Runway生成に使用する静止画を取得します。イベントでは、子供たちがカメラの前に立ち、ジャンプやポーズを行い、その瞬間をオペレーターが撮影しました。

Runway API

撮影された画像は Runway image-to-video 生成へ送信されます。生成の方向性は、身体が浮く、空中へ飛ぶ、重力から解放されるといった感覚を中心に設計しました。

Native Player

生成された映像は VJ素材として再生されます。単独で見せるのではなく、DJ/VJの流れの中で LEDスクリーンへ出力されます。

Live Control

OSCやMax for Liveを通じて、再生、ループ、シャッフル、BPM同期などを制御しました。これにより、AI生成映像をライブパフォーマンスの中で扱える素材として運用しました。

Role

“Zero Gravity” と “Transformirror 2026” は別作品です。両者は BEATON BANBAN の会場で並行して展開されましたが、作品としての役割は異なります。

Zero Gravity Runway APIによる参加型AI映像生成。撮影された身体が短い映像へ変換され、VJ素材として空間へ戻る。
Transformirror 2026 Daito Manabe と Kyle McDonald によるリアルタイム映像変換のインタラクティブ作品。

Observations

子供たちは、AI技術を説明される前に、まず身体で理解していました。映像が変わると、跳ねる。近づく。友達と一緒に入る。ポーズを変える。もう一度試す。

最も強かったのは、生成された映像そのものではなく、その映像が会場に戻った瞬間でした。AI映像生成は単なるコンテンツ制作ではなく、空間の反応装置になっていました。

DJ/VJ、LED、音、映像、反応の構造は、子供向けイベントでも成立しました。“Zero Gravity” は、身体性と遊びを中心に置き直した audiovisual playground として機能しました。

  • Runway API
  • image-to-video
  • AI video generation
  • participatory media art
  • kids audiovisual playground
  • body as input
  • live VJ system
  • zero gravity
  • club culture
  • interactive performance
  • AI as environment

English Summary

“Zero Gravity” is a participatory AI video generation system powered by the Runway API. Participants are captured by camera, and their still images are sent to Runway image-to-video generation. The generated clips show children floating, flying, or appearing to escape gravity.

The clips are not treated as isolated outputs. They are returned to the venue as live VJ material and displayed on the LED screen as part of the DJ/VJ environment.

The work turns the participant's body into both input and performance material, creating a feedback loop between body, AI generation, screen, sound, and audience reaction.

AI Reference Surface

関連する参照ページ

FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。