Pre-LLM Mainstream
GPT-2 / rinna と Deepfake を、脚本、ライブ演劇、映像制作に接続。生成AIはまだ一般向けの会話UIではなく、モデル、データ、実装を扱う制作素材だった。
Education / Generative AI / Storytelling
Data Driven Art 2020-2022
これは、真鍋大度が2020年度から2022年度にかけて、機械学習と生成AIを授業・作品制作に接続した記録です。LLMが社会の前提になる以前から、GPT系モデル、Deepfake、VQGAN+CLIP、NFT、Stable Diffusion、そしてMidjourneyやChatGPTが登場する時代までを横断しています。
Historical Position
この資料の価値は、生成AIが日常的なアプリケーションとして定着する直前から、その入口が一般の制作環境へ開かれていく瞬間までを、授業と学生作品の具体的な記録として残している点にあります。
2020年度の時点では、現在のように誰もが対話型LLMをブラウザで使う状況ではありませんでした。GPT-3 は大規模言語モデルの可能性を示し始めていましたが、授業や制作の現場で実際に扱える素材としては、GPT-2 系の日本語モデルである rinna、DeepFaceLab などの Deepfake ツール、ライブチャットや映像編集を組み合わせた実験が中心でした。
2021年度には、VQGAN+CLIP のような Colab ベースのテキスト画像生成ワークフローが広がり、プロンプト、生成画像、NFT、SNS のモデレーションが同時に作品の論点になりました。これは、画像生成AIが「便利な制作ツール」になる前に、価値、所有、プラットフォーム判断、身体性を問い直す素材として扱われていたことを示しています。
2022年度には、Stable Diffusion の公開、Midjourney の普及、そして年末の ChatGPT 登場によって、生成AIは研究・実験環境から一般の制作環境へ急速に移行しました。本ページは、その転換期をまたいで、機械学習を用いた表現教育が何を問題にし、どのようなツールを作品化していたのかを読み解くための記録です。
Prompt as Method
VQGAN+CLIP、NFT、Instagram moderation を横断。プロンプトによる画像生成が、市場、国家表象、プラットフォームの判断を問う方法になった。
Public Generative AI
Stable Diffusion、Midjourney、ChatGPT へつながる転換期。生成AIが専門的な実験から、一般の制作者が触れる環境へ移行した。
Course Record
インターネット前提社会におけるビッグデータや人工知能を、ストーリーテリング、映像、画像生成、マーケット、楽器表現へどう接続できるかを扱った授業記録です。
Period
3 Years
2020年度、2021年度、2022年度の授業内容と成果物を収録。
Source
27 Slides
Google Slides から PDF を export し、全ページを公開用 WebP として最適化。
Methods
AI / Data
文章生成、Deepfake、VQGAN+CLIP、NFT、Stable Diffusion を横断。
Format
Course
ゲスト講師とワークショップ形式のグループ制作を含む。
Overview
各年度のテーマは、その時期に社会化し始めた生成技術を実際の制作条件に置き、表現、倫理、市場、鑑賞体験までを同時に検証する構成になっています。
2020年度は、Deepfake と GPT-2 / rinna を用い、ライブチャット、演劇、リップシンク、恋愛の物語など、ストーリーテリングの生成・攪乱・再構成を扱っています。劇作家の上田誠氏と俳優のムロツヨシ氏をゲスト講師に迎え、ワークショップ形式で短編映像作品または構成技術の開発・提案を行いました。
2021年度は、VQGAN+CLIP を中心に、テキストからの画像生成、生成画像の 3D オブジェクト化、NFT mint、Instagram 上のモデレーションまでを射程に入れています。画像生成を単なる素材制作ではなく、商品、国家表象、エロティックなイメージ、プラットフォームの評価基準まで含む問題として扱っています。
2022年度は、Stable Diffusion を用いた画像生成に焦点を移し、ライゾマティクスリサーチの花井裕也氏による機械学習プロジェクトや AI VTuber 絵藍ミツアの技術紹介を交えながら、画像の価値や楽器表現の拡張をテーマに作品制作を行っています。
Year Themes
3年度の授業テーマを、元スライドの構成に沿って整理しています。
2020 / GPT-2(rinna), Deepfake and Storytelling
Deepfakeとストーリーテリング
- Deepfake、文章生成、ライブ演劇を接続。
- 短編映像作品または構成技術をグループで制作。
- ゲスト講師: 上田誠氏、ムロツヨシ氏。
2021 / VQCLIP GAN and NFT
VQGAN+CLIPとNFT
- テキスト入力をもとにした画像生成に取り組む。
- AI生成画像を NFT として mint し、マーケットとの接続を考察。
- 商品、国家、エロティックなイメージを題材化。
2022 / Stable Diffusion
Stable Diffusion
- Stable Diffusion による画像生成を中心に制作。
- 花井裕也氏が機械学習プロジェクトと AI VTuber 技術を紹介。
- イメージの価値と楽器表現の拡張を扱う。
Works
元スライドで紹介されている各作品を、制作意図と使用技術ごとに再構成しています。
イン-プレッション
YouTube Live 上の演劇に対して、GPT-2 で生成したチャット文を人間の観客のチャット文に混ぜ、演者がリアルタイムに反応する作品。
- ライブチャットを脚本生成の素材にする。
- AI と観客の入力がアドリブと脚本の再構築を促す。
- 映像ソース: YouTube Live.
リップシンク・コント
鏡の中に別世界がある日常を設定し、鏡の中の自分と掛け合いをするプロトタイプ作品。
- セリフを話す動画と登場人物の唇を同期。
- DeepFaceLab によってリップシンク動画を生成。
諸事情
Deep Fake が日常生活に浸透した世界観を、恋愛と自己変容の物語として表現した映像作品。
- 意中の相手の好みの顔になりすまし関係を構築する主人公を描く。
- 日常的な Deepfake 利用の不安と葛藤を扱う。
存在しない商品
適当な商品名から商品画像を生成し、3D オブジェクト化してヴァーチャルリアリティ空間で使えるようにした作品。
- 例: “Perfect Design Pro Slim Vacuum Cleaner”.
- AI が製品説明や広告まで生成する未来を仮定。
- 資本主義社会における必要性と需要の生成を問う。
国歌からわかる国家
国歌の歌詞を VQGAN+CLIP に入力し、国歌に合わせて画像が生成されていく過程を見る映像作品。
- 国ごとの歌詞から AI が特徴を読み取る。
- アメリカ、日本、イギリスの出力例が示されている。
x-porno
AI 画像生成で表現されたエロティックなイメージが、現代においてどのように評価されるのかを Instagram 投稿を通じて検証した作品。
- 生成画像の一部がコミュニティガイドライン違反として削除された。
- AI が生み出したポルノ画像を AI が取り締まる構図を扱う。
After Michael Mandiberg
テキストから高精細な画像を生成できる時代に、写真や複製芸術の流れを踏まえ、イメージの価値がどう変化するかを思索する作品。
- 画像からテキストへ、そのテキストから画像へ変換。
- 変換された画像をさらに新しい画像へと変換していく。
Stable Diffusionで楽器を壊す
楽器を「演奏するという明確な目的を持って音を出すこと」と定義し、Stable Diffusion によってどのように拡張できるかを扱った作品です。
- 聴覚だけでなく、生成画像によって視覚も演奏体験に接続。
- ギターの青いボディが水へ変化し、音楽も連動して変化する様子を表現。
Video
元スライドに記載されていた「イン-プレッション」の YouTube Live リンクを、ページ内で視聴できる形で保持しています。
Source Slide Record
元 Google Slides は公開ルートに置かず、全 27 ページを表示用 WebP として最適化しています。授業概要、作品説明、図版、QR コードを含む全スライドを確認できます。
Source Boundary
Google Slides / PDF / PPTX などの元資料は public Selected Works bundle には含めず、表示用に最適化した画像と本文だけを公開しています。
Credits
元スライドで確認できる制作者・ゲスト情報です。
- Presentation
- Daito Manabe
- 2020 Guest Lecturer
- 上田誠
- 2020 Guest Lecturer
- ムロツヨシ
- 2022 Guest Lecturer
- 花井裕也 / Rhizomatiks Research
- Program Focus
- Data-driven art, generative AI, storytelling, image generation
AI Reference Surface
関連する参照ページ
FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。