http://www.fastcodesign.com/3030910/watch-this-japanese-dance-troupe-performs-with-drones
http://www.theverge.com/2014/5/22/5742420/drones-join-dance-troupe-video
http://kotaku.com/a-drone-ballet-straight-out-of-the-cyberpunk-future-1580122943
http://www.engadget.com/2014/05/22/modern-dance-with-drones-is-confusingly-beautiful/
abstract:
This is a collaboration developed by elevenplay×Rhizomatiks who has been the pursuing possibilities of relationship and interaction between the body and technology by interacting with a variety of hardware and devices such as robot arms and motor-controlled floating balls. In this new work, objects are arranged three-dimensionally in real space through a tracking technology and drone control system, and the work, in which dancers give performances, has been presented so as to find the possibility of a new bodily expression.
context:
With the development of video and image analysis technologies, trials to deal with the body as data and to expand the body have been conducted using such methods as Virtual Reality and Augmented Reality. One problem was, for instance, that a dancer had to wear a head mounted display or while looking at images on a projector. Since an intuitive approach is still difficult, a new experimental work employing advanced control and analysis technologies is required. As there is a limit to the output of images, it is necessary to use physical devices and objects so as to expand bodily expression presented in real space.
performance:
A system in which dancers can physically and more intuitively perceive the relationship between the body and data through computer-controlled drones has been developed. There are two kinds of drone movements: a motion produced by tracking a dancer’s movements and an artificial motion operated on the software. At first, dancers had to be trained to interact with the drones because they could not predict how they would move, but eventually they were able to dance with the drones as closely as 10cm away from them.
Cameras with the motion capture system are used for the position analysis of the drones, 10 to 15 of which are needed. They are installed on the ceiling with a camera mount, or set up around the stage using tall tripods. Three retro reflective markers are attached to each drone so as to identify the position and angle. (See the figure for details.)
Using the position information of the drones, tracked by the motion capture system, the positions of three drones are controlled through feedback control. AscTec Hummingbird 2012 is used for the drones. In order to cope with problematic situations, manual operation is available at anytime; so if the tracking system has a problem, the drones can be landed automatically and safely.
Flight patterns have been created through various methods, e.g. producing them with original software, importing data from CG software, and using Ableton Live. For the analysis of the dancers’ movements, the conventional method is used with retro reflective markers attached to them and motion capture cameras. We adopted a method in which these data are recorded, or captured in real time, processed, and played back so that the drones move according to the dancers’ movements.
three-dimensional object:
A quadrangular pyramid-shaped object is attached to the upper part of each drone for better visual confirmation. In the beginning, a sphere-shaped object was used, but it was difficult to confirm the drone’s spinning movements visually. That is why an object of another shape was used. While motion is restricted due to greater air resistance, a quadrangular pyramid-shaped object was attached in order to improve expression and secure dancers’ safety.
physical motion:
The dance shows the beauty and difficulty which come from resistance to gravity and inertia. Viewers are able to appreciate this naturally through their experience, and the same thing applies to the drones. The limits, motion dynamism, and a locus that is impossible to make with CG are produced by physical laws such as gravity, inertia and air resistance. Though the three-dimensional object was originally attached to improve visibility, it eventually played not only the role of making drones look bigger but also became an important element in emphasizing the motion and visualization of the interaction between the dancers and the laws of physics.
projection:
As a step further, a projection was sometimes conducted for the object attached to the drone in order to improve visibility. While the system functions, the content has potential for further development. The work will be continually updated in the future.
setting:
・Batons (two or more) are hung within a square (6 meters wide x 4 meters deep) at a height of 6 to 7 meters above stage.
・A total of 10 cameras are installed on the batons.
・Ideally, cameras are installed after the batons are brought down. (Batons can go up and down.)
・Time requirements: camera installation takes 1 hour, camera angle adjustment another hour, calibration takes 30 minutes, helicopter flight test takes 30 minutes, and reserve time of an 1 hour was also allocated for a total set up time of roughly 4 hours.
・At the time of calibration, no other work should be done on stage. The use of lighting, which emits strong infrared rays is banned at the time of calibration as well as during the show.
・The use of other equipment (e.g. simultaneous translation equipment and surveillance cameras) which emits strong infrared rays should also be banned.
産業用ロボットアームやモーター制御の浮遊するボールなど様々なハードウェアやデバイスとのインタラクションを通じて身体とテクノロジーの関係性、相互作用の可能性を追求してきたelevenplayとRhizomatiksによるコラボレーション。今回の新作では、トラッキング技術、ドローンの制御技術を用いて実空間にオブジェクトを三次元的に配置し、その中でダンサーがパフォーマンスすることで新たな身体表現の可能性を模索し、作品発表を行った。
---背景
身体をデータとして扱うことや、身体を拡張する試みは映像技術、画像解析技術の進化とともにVirtual Reality, Augmented Realityといった手法を使って行われて来た。
問題点としてはヘッドマウントディスプレイを着用したり、プロジェクターに投影される映像を観ながら踊らなくてはならないなど、まだまだ直感的に扱えるものにはなっておらず、高度な制御技術、解析技術を用いた新たな試作を検討する必要があった。
アウトプットが映像だけでは限界も多く、実空間において展開される身体表現の拡張にはフィジカルなデバイスやオブジェクトが必要であると考える。
---実施
身体とデータの関係をコンピュータ制御したドローンを使うことで、実際の空間でダンサーが身体的に、そしてより直感的にオブジェクトを認識出来る様なシステムを開発した。
ドローンの動きはダンサーの動きをトラッキングすることで作り出されたモーションと、そしてソフトウェア上で作り出した人工的なモーションの二つがある。
当初ダンサーはドローンの動きを予測出来ないため、インタラクションを行うまでには訓練を必要としたが、最終的には10cm程度まで近づいてドローンとのコンタクトを行うことが出来る様になった。
---システム 設置
droneの位置解析にはモーションキャプチャのカメラを使用。10~15台程度を要する。
カメラマウンタを使い天井に設置、もしくはステージの周辺に背の高い三脚を使ってカメラを設置。droneには3つのretro reflective markerを取り付けることで位置、角度を認識させている。詳細は図参照。
---システム ハード
モーションキャプチャシステムでトラッキングしたdorneの位置情報を用いて、フィードバック制御によって３台のdroneの位置制御を行っている。droneは、AscTec社Hummingbird2012
を用いている。また、トラブル時の対応として、常にマニュアル操作に切り替えられるようにしており、かつ、トラッキングシステムに不具合があった場合は安全に自動的に着陸するようになっている。
---システム ソフト
フライトパターンの作成はは独自のソフトで作成する方法とCGソフトからデータをインポートする方法、その他Ableton Liveなどでパターンを制作する方法など様々な手法を通じて行った。ダンサーの動きの解析はダンサーにretro reflective markerを取り付けてモーションキャプチャのカメラを使って行う従来の手法を使用した。このデータをレコーディング、もしくはリアルタイムキャプチャ、加工、プレイバックすることでdroneをダンサーの動きに合わせて動かす手法をとっている。
---立体物
また視認性を高めるためドローンの上部に四角錐のオブジェを取り付けた。
当初、球状のオブジェを取り付けていたが回転に対する視認性が低く、ドローンの動きの特徴が見えづらかったため、別の立体物を取り付けることとなった。空気抵抗を大きく受ける様になり動きが制限されるが、表現力の向上、そしてダンサーに対する安全面に対する配慮から四角錐のオブジェを取り付けて飛行させた。
---物理運動
ダンスは重力や慣性に対する抵抗からうまれる難しさ、美しさがあり、鑑賞者は自らの体験から、それを自然と知覚する能力を持っている。
ドローンに関しても同じことが言える。
重力や慣性、空気抵抗と言った物理法則があることによって生まれる制限、モーションのダイナミズム、CGでは生み出せない軌跡がある。
立体物は視認性を高めるために取り付けたものであったが
結果的にはドローン本体のサイズを大きく見せる役割だけではなく、モーションを強調し、そこにある物理法則、ダンサーとのインタラクションを可視化するための役割も持つ重要な要素となった。
---プロジェクション
また、さらに視認性を高めるためにドローンに取り付けられた立体物に対してプロジェクションを行うことも行った。システム的には動作しており、コンテンツ部分はさらなる発展が出来る可能性を持つ。今後の作品制作の中でアップデートを行う。
---セッティングに関して
・ステージ上方、高さ6〜7mのところに4角形にバトンをつる
・バトンは横6m奥行き4m
・バトンにカメラを10台設置
・カメラの取り付けはバトンをおろしてできること（バトンが昇降できること）が理想
・カメラ取り付け１時間、カメラアングル調整１時間、キャリブレーション30分、ヘリフライトテスト30分、予備時間１時間
・キャリブレーション時にはステージ上での他の作業は出来ません、また赤外線を強く発する照明はキャリブレーション時、本番時ともに使用しないでください。
・照明以外でも、赤外線を強く発光する装置（同時通訳装置や監視カメラなど）の使用を停止していただきたいです。
Description