生成AIを、作品、空間、ライブシステム、制作パイプラインへ実装する。
真鍋大度は、AIを表層的な生成ツールとしてではなく、身体、言語、音、映像、空間、データ、リアルタイム制御を接続する創造システムとして扱ってきたアーティスト、プログラマー、コンポーザーである。
Positioning
真鍋大度のAIと機械学習における価値は、生成AIブーム以降にツールを使い始めたことではない。2000年代前半から、身体データ、顔、筋電、電気刺激、センサー、モーションキャプチャー、リアルタイム音響解析、映像生成、自動化システムを扱い、人間の知覚や身体性をコンピューターと接続する作品を発表してきた。
2010年代以降は、機械学習、コンピュータビジョン、リアルタイム解析、生成モデルを実践へ接続。2018年の「discrete figures」では、身体データと機械学習を用いた舞台表現を構築し、2021年の「TOKYO 2020-2021」では日本語GPT-2を用いて、社会的言語、群衆心理、情報環境、AI safety、モデレーションの問題を扱った。
2020年から2022年にかけては、Data Driven Artとして、GPT-2/rinna、Deepfake、VQGAN+CLIP、NFT、Stable Diffusion、Midjourney、ChatGPT前夜を横断する授業と作品制作を展開。現在はOpenAI、Midjourney、Runway、Google DeepMind、Google Magenta、Anthropicなど、生成AIを牽引する企業や研究チームとの対話、共同イベント、制作実験を継続している。
Core AI Works
AIポートフォリオの中核は、身体、言語、教育、物理空間制御の複数の軸にある。
discrete figures
モーションキャプチャーデータ、機械学習、時系列解析、コンピュータビジョンを用いて、人間のダンサー、バーチャルダンサー、ドローン、映像、照明、ステージシステムを統合した身体表現を構築。
Data Driven Art
GPT-2/rinna、Deepfake、VQGAN+CLIP、NFT、Stable Diffusion、Midjourneyを授業と学生制作へ接続した生成AI転換期の記録。
TOKYO 2020-2021
日本語GPT-2を用い、東京五輪、COVID-19、Yahoo!ニュースコメント、群衆心理、生成テキスト、AI safety、モデレーションを扱ったAIインスタレーション。
SPOTLIGHT AI
Claudeを用いて自然言語から照明制御の数学関数を生成し、生成AIを物理空間のリアルタイム制御へ接続。
Technical Timeline
身体、知覚、センサー、リアルタイムシステム
カメラ、マイク、筋電センサー（EMG）、心拍センサー、加速度、ジャイロ、傾きセンサー、赤外線センサー、Kinect、モーションキャプチャーシステムなどを用いた身体動作解析、音響、映像のリアルタイム生成、顔や身体への電気刺激制御、インタラクティブシステムの開発を行ってきた。
openFrameworks、Max/MSP/Jitter、Pure Data、C++、OpenCVなどを用いながら、ジェスチャー解析、リアルタイムトラッキング、身体動作と音響、映像の同期制御を通じて、人間の知覚や身体性をコンピューターと接続する作品を発表してきた。
顔認識、オプティカルフロー、背景差分、特徴点追跡、モーションキャプチャーによる骨格解析、センサーフュージョン、FFT解析、リアルタイム音響解析などを用い、身体動作、表情、筋肉の反応、呼吸、音声などを入力として、映像、音響、照明、ロボティクス、空間演出へ変換するシステムを構築してきた。
機械学習、コンピュータビジョン、時系列解析
2010年代以降は、機械学習技術、コンピュータビジョン、リアルタイム音響、映像生成技術を駆使し、顔ランドマーク解析、表情推定、Pose Estimation、Skeleton Tracking、身体の時系列データ解析、モーション解析、リアルタイム特徴抽出を用いたパフォーマンスやインスタレーションを展開してきた。
OpenCV、openFrameworks、TensorFlow、PyTorch、CUDAベースのGPU処理などを活用し、カメラ入力、モーションデータ、音響解析、センサーデータを統合したリアルタイムシステムを開発してきた。
また、機械学習以前から取り組んでいたルールベースシステム、データマイニング、アルゴリズミックコンポジション、統計的解析と、ニューラルネットワークによる推定、生成技術を接続することで、身体、音、映像、空間、アルゴリズムが相互に影響し合うライブシステムやインスタレーションを制作している。
初期生成モデル、テキスト生成、ニューラル映像生成
2015年頃からは、DeepDream、Neural Style Transfer、GAN、DCGAN、pix2pix、CycleGANなどの初期生成モデルを用いた映像生成やスタイル変換、RNN、char-rnn、LSTM、seq2seqによるテキスト生成やリリック生成など、当時まだ黎明期だった生成モデルを用いた作品制作や実験を開始した。
ヒップホップのリリック生成、リアルタイム映像変換、生成映像、生成音楽などを通じて、現在の生成AI以前から、人間とアルゴリズムの共創をテーマとした研究と制作を継続してきた。
さらに、モーションデータやセンサーデータの解析、特徴量抽出、クラスタリング、時系列解析、潜在空間探索などを通じて、人間の動作や知覚をデータとして扱い、その構造や変化を視覚化、生成へ接続する試みを続けている。
discrete figures / choreography generation, motion analysis, virtual bodies
ELEVENPLAY、Kyle McDonaldとともに「discrete figures」を発表。大量のモーションキャプチャーデータ、身体の時系列データ、ダンサーの動作特徴を解析し、機械学習によって振付の候補や身体動作の変換パターンを生成した。
Kinect v2、OpenPose、Skeleton Tracking、時系列解析、特徴抽出などを用いながら、身体動作をデータとして解析、再構築。生成された身体動作は、人間のダンサー、バーチャルダンサー、ドローン、映像、音響、照明、ステージシステムへ接続された。
モーションキャプチャーデータから得られた動作特徴量を用いて、身体動作の遷移、リズム、重心移動、空間的関係性を解析し、人間の振付では生まれにくい運動パターンを生成。身体そのものをデータとして扱い、機械学習によって身体表現を再構築する試みとして位置づけられる。
同作では、バーチャル身体、リアル身体、ドローン、映像システムがリアルタイムに同期、相互作用する環境を構築し、AIと身体表現を接続した先駆的な舞台作品として、ニューヨーク、モントリオール、サンフランシスコなどで発表された。
Data Driven Art / 生成AI前夜の教育、制作、批評
2020年度から2022年度にかけて、機械学習と生成AIを授業、ワークショップ、作品制作に接続。2020年はGPT-2/rinnaとDeepfakeを脚本、ライブ演劇、映像制作へ接続し、2021年はVQGAN+CLIP、NFT、Instagram moderationを扱い、2022年はStable Diffusion、Midjourney、ChatGPT登場直前の生成AI環境を射程に入れた。
この記録は、生成AIが日常的なアプリケーションとして定着する直前から、一般の制作環境へ開かれていく瞬間までを、授業と学生作品の具体的な記録として残している。表現教育、ストーリーテリング、画像生成、市場、プラットフォーム、身体性、楽器表現を同時に扱った点が重要である。
単なるツール紹介ではなく、生成AIによるイメージ、声、身体、物語、プラットフォームの判断が、制作と教育の現場にどのような変化をもたらすのかを検証した取り組みである。
TOKYO 2020-2021 / GPT-2, public discourse, moderation
COVID-19と東京オリンピック開催が同時進行していた東京をテーマに、日本語GPT-2を用いたAIインスタレーションを制作。2020年春の最初の緊急事態宣言から2021年夏にかけて収集された多様なデータを基に、AIによって生成される「狂喜乱舞する東京」のイメージを提示した。
Yahoo!ニュースのオリンピック関連コメントを中心としたテキストデータセットを採用し、GPT-2の日本語実装をファインチューニング。集合的感情、言語的歪み、マスメディアへの不信、情報流通の混乱を生成テキストとして可視化した。
生成テキストは初期の生成映像技術と組み合わされ、スクリプトによって自動化された中立的な生成システムとして構築された。人間による編集や美的判断を極力排除することで、生成モデルが社会的データをどのように増幅、変形、再提示するかを可視化している。
当時の生成モデルには現在のような安全フィルタやモデレーション機構が十分に存在せず、攻撃的、差別的、危険なテキストが生成される可能性があった。そのため、展示空間自体がモデレーションシステムとして機能するよう設計され、物理的なモザイクレンズを通してのみテキストを読むことができる構造が採用された。
生成AI、AIエージェント、物理空間制御
OpenAI Soraの初期検証、Runwayとの対話、Google DeepMindとのコラボレーション、Google Magentaとの音楽生成AIイベント、Claudeを用いた自然言語インターフェースや照明、レーザー、映像制御など、生成AIを物理空間、ライブシステム、制作パイプラインへ実装している。
ここでの関心は、プロンプトから画像や映像を生成することにとどまらない。自然言語、センサー入力、空間状態、音楽、照明、映像、ロボティクスを結び、AIが状況を解釈し、物理環境へ応答するための創造システムを構築することである。
Selected AI Related Projects
Machine Learning / Deep Learning for Art
Rhizomatiks ResearchでKyle McDonaldを招き、Python、openFrameworks、deep learningを用いたアート制作のワークショップを開催。生成AIブーム以前から、機械学習と表現の接続を実践的な教育、研究、制作の場として扱っていた実績である。
discrete figures
ELEVENPLAY、Kyle McDonaldとともに制作した機械学習ベースの舞台作品。大量のモーションキャプチャーデータ、身体の時系列データ、動作特徴量を解析し、身体動作の生成、変換、再構築を行った。
Kinect v2、OpenPose、Skeleton Tracking、モーション解析、特徴抽出、時系列解析などを用いながら、人間のダンサー、バーチャルダンサー、ドローン、映像、音響、照明、ステージシステムをリアルタイムに同期。身体をデータとして扱い、AIによって身体表現を再構築する試みを行った。
動作データから抽出されたリズム、重心、速度、空間的関係性を解析し、人間の振付では発生しにくい動作遷移を生成。機械学習による身体生成とライブパフォーマンスを統合した初期の実践として、ニューヨーク、モントリオール、サンフランシスコなどで発表された。
Data Driven Art 2020-2022
機械学習と生成AIを授業と作品制作に接続した記録。2020年はGPT-2/rinna、Deepfake、ライブ演劇、映像制作を扱い、2021年はVQGAN+CLIP、NFT、Instagram moderation、生成画像とプラットフォーム判断を扱った。
2022年はStable Diffusion、Midjourney、ChatGPT登場直前の転換期において、画像の価値や楽器表現の拡張をテーマに制作を行った。生成AIが専門家の実験から一般の制作環境へ開かれていく移行期を、教育と制作の両面から記録している。
単なる技術紹介ではなく、生成AIが制作環境へ入っていく過程で、ストーリーテリング、マーケット、国家表象、エロティックなイメージ、SNSモデレーション、身体性、楽器表現がどのように変わるかを検証した教育実践である。
TOKYO 2020-2021
COVID-19と東京オリンピック開催が同時進行していた2020年から2021年の東京をテーマにしたAIインスタレーション。Yahoo!ニュースのオリンピック関連コメントを中心とした大規模テキストデータセットを収集し、日本語版GPT-2をファインチューニング。匿名的な感情、群衆心理、不安、怒り、メディアへの不信、情報の歪みを生成テキストとして再構成した。
生成されたテキストは、当時利用可能だった初期の生成映像技術、LEDシステム、空間インスタレーションと組み合わされた。生成プロセスはスクリプトによって自動化され、人間による編集や美的判断を極力排除することで、中立的な生成システムとして構築された。
当時のGPT-2系モデルには現在のような安全フィルタやモデレーション機構が存在せず、差別的、攻撃的、危険なテキストが生成されることもあった。そのため、展示空間自体がモデレーションシステムとして機能するよう設計され、物理的なモザイクレンズを通してのみテキストを読むことができる構造が採用された。生成AI以前のLLM、公共言説、AI safety、physical moderation layerを扱った重要な作品である。
Sónar Generative AI Workshop
Sónar Barcelonaで、生成AIと画像生成技術に関するマスタークラス、トークを実施。映像生成、AI制作パイプライン、表現の可能性と制約を扱った。
SPOTLIGHT AI
Claudeを用いて自然言語から照明制御の数学関数を生成し、時間、位置、色、灯体の動きを制御するシステム。生成AIを物理空間制御へ接続する実例である。
自然言語を単なる文章生成ではなく、実空間の照明制御、時間構造、位置情報、色彩、動作パターンへ変換することで、LLMを空間演出の制御層として扱っている。
LaserSpat
自然言語からレーザーパターンを生成し、Claude APIで数学関数へ変換、ILDA、Helios DAC、ブラウザシミュレーターへ出力するAIレーザー制御システム。
Brain Processing Unit
SoftBank、東京大学との共同プロジェクト。脳、学習、適応、バイオコンピューティングの文脈で、S+T+ARTS Prize 2025 Honorary Mentionに選出。
Sónar 2026 Collaboration
Google DeepMindとのセッション、AIと音楽、映像、身体表現をめぐる国際的な発表。生成AIとライブパフォーマンスの接続を扱う。
Dialogues, Events, and Collaborations
Sam Altmanとの対談、Soraを含む生成AI表現の初期検証。生成AIとクリエイティビティの関係をめぐる対話。
David Holzとの対話、Rhizomatiksとの共同イベント。画像生成AIの中核プレイヤーとの直接的な接点。
Cristóbal Valenzuelaとのイベント、生成映像をめぐる対話と実験。AI video領域の文脈での接続。
音楽生成AIを用いたパフォーマンス、トーク、DJデモンストレーション。AI music generationの公開実験。
Sónar Barcelonaでのコラボレーション。AI、音楽、映像、身体表現を横断する発表。
Claudeを用いた制作支援、自然言語インターフェース、照明、レーザー、AIエージェントを活用した創作実験。
Consulting and Collaboration Areas
- 生成AIを活用した新規プロジェクトの設計
- AIエージェントを用いた制作パイプラインの構築
- 映像生成、音楽生成、空間演出、ライブシステムの開発
- AIを用いたブランド体験、展示、イベント、パフォーマンスの企画制作
- 研究機関、企業、アーティストとの共同プロトタイピング
- 自然言語インターフェースによる照明、音響、映像、空間制御
- 身体データ、モーションキャプチャー、センサーを用いた表現開発
- 生成AI時代のクリエイティブ戦略、技術監修、コンサルティング
Public References
本文内に過剰な脚注を入れず、公開資料、作品ページ、ニュース、外部記事をここに整理する。各リンクは、詳細ページやプロジェクトカードからも接続できる。
Note: OpenAI Sora alpha tester reference and Runway x FIL Tokyo Gathering are currently supported by social platform links. For long term archival stability, replace or supplement them with daito.ws archive pages when available.