東京 2020-2021
写真：ホンマタカシ（ライゾマティクス）
真鍋大度は本プロジェクトで企画、コンセプト、インスタレーションの設計と、実際に使用するデータ、AIのライブラリの選定を行った。
概要
2020年春の最初の緊急事態宣言から2021年夏にかけて収集された多様なデータを基に、本作はAIによって生成される「狂喜乱舞する東京」のイメージを提示するものである。本来は別の目的で使用される予定であったデータや、感染症拡大の影響により中止・消失したイベントに関する情報などを抽象化し、文字および映像表現へと変換した。
本作は、新国立競技場を中心とする複数の地点に建築やオブジェを分散配置し、自由で新しい都市のランドスケープを構想する世界初の試みである「パビリオン・トウキョウ2021」の一環として制作され、ワタリウム美術館前の空き地にて展示された。
コンセプト
本プロジェクトは、ワタリウム美術館からの依頼により、東京オリンピック開催時期に新国立競技場周辺で展開されるインスタレーションを構想するものであった。建築家を中心とした計画が進行する中で、私は空間設計とは異なる視点、すなわち情報・データ・生成技術を軸としたアプローチを求められた。当時の社会状況を鑑みると、このような役割分担自体がすでに特異な座組みであったと言える。
2020年から2021年にかけて、東京オリンピックの準備と新型コロナウイルス感染症の拡大が同時進行するという、前例のない社会的条件が出現した。多くの文化事業やプロジェクトが中止・延期を余儀なくされる一方で、パンデミックという制約条件そのものが、新たな実践や表現の契機となった側面もある。毎週実施していたオンラインライブ配信「Stayin Tokyo」は、物理的移動や集合が不可能な状況下において、ネットワークを介した同時性と接続性を再定義する試みであった。
この時期はまた、情報の生成・流通・受容のあり方が社会全体で強く問われた局面でもあった。マスメディアに対する不信感が顕在化し、オリンピック開催の是非、感染状況、ワクチンに関する情報など、個々人がどの情報を信頼し、どのように行動すべきか判断することが極めて困難な状況が続いていた。
本作では、匿名性の中で表出する感情や意見、すなわち可視化されにくい「本音」に着目し、この時代固有の言説環境を反映する素材として、Yahoo!ニュースのコメント欄を採用した。特にオリンピック関連の記事に付随するコメントを収集し、それらを用いてGPT-2の日本語実装（通称リンナー版）をファインチューニングした。この言語モデルによって生成されたテキストを展示することで、集合的感情や言語的歪みの構造を可視化することを試みている。
加えて、当時利用可能であった生成技術を用い、生成テキストを入力として画像生成を行う実験も実施した。とりわけ動画生成技術は黎明期にあり、現在の生成AIと比較すると解像度や一貫性に大きな制約があったが、その未成熟さや破綻を含む表現をあえて利用し、視覚的イメージを構成した。これら一連の生成プロセスはスクリプトによって自動化され、人為的な編集や審美的判断を極力排除することで、作品全体を中立的な生成システムとして成立させることを意図している。
技術的構成
本作のテキスト生成は、Yahoo!ニュースのコメント欄を対象にしたデータ収集から開始された。Node.js 上で Puppeteer を用い、厳密な条件ではなく「おおむね1000件以上のコメントが付いている記事」を中心に選定し、コメントとそれに紐づくリプライをスクレイピングした。収集対象の記事数は577件、コメントおよびリプライは約125万件で、そのうち390文字以上のフィルタを通過した9725件をファインチューニング用データとして使用した。
言語モデルには、日本語 GPT-2 として公開されていた rinna の japanese-gpt2-medium を利用した。実装基盤は Hugging Face Transformers と SentencePiece であり、当時の公開モデルを、オリンピック、感染症、メディア報道に関する匿名コメントの文体へ近づける形で追加学習した。生成結果はさらに300文字以上のものを中心に選定し、長さを持った言説として読めるテキストを展示素材にしている。
画像生成には VQGAN+CLIP と OpenAI CLIP を組み合わせた当時の実験的な生成手法を使用した。VQGAN が画像を生成し、CLIP がテキストプロンプトと画像の類似度を評価することで、CLIP score を手がかりに VQGAN の latent を反復的に最適化する構成である。プロンプトの一部には東京2020大会公式サイトの大会ビジョンから選んだ語句を用い、「熱狂する東京」「スポーツには世界と未来を変える力がある」「全員が自己ベスト」「おもてなし」などのフレーズを Google Translate や DeepL で英訳し、画像生成用の入力に変換した。英語化したのは、当時の CLIP ベースの生成ワークフローが英語プロンプトに対して比較的安定して反応したためである。VQGAN+CLIP の生成物は恣意的に選別せず、生成されたものを原則として使用することで、当時のモデルの破綻や歪みも作品の一部として残している。
生成出力例
制作メモには、東京2020大会ビジョンから抽出した語句を英訳して VQGAN+CLIP に入力した生成画像と、Yahoo!ニュースコメントをもとにファインチューニングした GPT-2 + rinna の生成文が残されている。以下はその一部であり、生成テキストは事実確認済みの記述ではなく、匿名コメントの文体、反復、論理の飛躍を学習したモデルの出力例として掲載している。生成文の全文はリンク先の専用ページにまとめた。
Frenzied Tokyo熱狂する東京
The city of Tokyo is in a frenzy.熱狂する東京
Sport has the power to change the world and the future.スポーツには世界と未来を変える力がある。
Sports have the power to change the world and the future.スポーツには世界と未来を変える力がある。
The most innovative convention in history, bringing positive change to the world史上最もイノベーティブで、世界にポジティブな改革をもたらす大会
The most innovative and positive reform competition in history史上最もイノベーティブで、世界にポジティブな改革をもたらす大会
Personal bests for all!全員が自己ベスト
Everyone is personal best全員が自己ベスト
O MO TE NA SHIおもてなし
Proof that humans have defeated the new coronavirus.人類が新型コロナウィルスに打ち勝った証
このパイプラインでは、スクレイピング、フィルタリング、GPT-2 のファインチューニング、テキスト生成、VQGAN+CLIP への入力、映像化までをスクリプトで接続した。人間がメッセージを直接書くのではなく、オリンピックとパンデミックをめぐる大量の匿名言説から統計的に生成された「それらしい声」と、公式スローガンや大会ビジョンから導かれるイメージを衝突させる構造である。
当時の生成モデルには、今日一般的となっているフィルタリングやセーフティ機構がほとんど存在せず、差別的・攻撃的・危険性を孕むテキストが生成されることも少なくなかった。そのため、本作では展示方法そのものを制御装置として位置づけ、物理的なモザイクレンズを用いることで、一般の通行人には内容が判読できず、意図的に近づいた鑑賞者のみがテキストを読み取れる構造を設計した。
技術的制約、社会的緊張、倫理的課題が複雑に交錯する中で、本作の制作プロセスは、当時の状況を象徴する要素を選択・配置し、成立させていくパズルのような作業であったと言える。
通常の美術館空間では展示が困難であったであろう本作を発表する機会を提供した環境に対し深い感謝を表するとともに、この特異な時代と条件のもとで制作された作品だからこそ持ち得た歴史的・批評的意義を、あらためて確認するものである。
Tokyo Tokyo FESTIVAL スペシャル13
パビリオン・トウキョウ2021
主催：東京都、公益財団法人東京都歴史文化財団 アーツカウンシル東京、パビリオン・トウキョウ2021実行委員会
企画：ワタリウム美術館
2021年7月1日（木）〜9月5日（日）
会場：ワタリウム美術館 向かい側の空地
東京都渋谷区神宮前3-41-5
鑑賞時間：11:00〜19:00
Technical Direction: Motoi Ishibashi
LED Player: Yuta Asai
Image and Text generation: 2bit
Technical Support: Toshitaka Mochizuki
Project Management: Tomoyo Obata
