おれはまなべだいと
一枚の人物写真と短いテキストを入力として、その人物を主人公にした楽曲とミュージックビデオを生成する研究開発プロジェクトです。歌詞生成、楽曲生成、脚本生成、ショットリスト作成、映像生成、編集を一つの制作パイプラインとして接続し、最小限の入力から物語性のある映像作品を生成する手法を検証しています。
写真と歌からMVを組み立てる
このMVでは、楽曲の歌詞と人物写真を起点に、人物の一貫性を保ちながら複数の短いシーンを生成し、一本の映像として編集しました。
映像には、深夜に一人で作業する父、家族との日常、フェスティバルでの歌唱、娘の結婚式でのエンディングなど、歌詞から派生した複数の時間が含まれています。RunwayとSeedanceによる映像生成を用い、現在、記憶、想像上の未来が同じ楽曲の中で重なる構成にしています。
AI映像生成を単発のショット制作ではなく、楽曲全体の時間軸に沿ったMV制作ワークフローとして扱う試みです。
YouTube公開版
最終映像はYouTube公開版として掲載しています。別バージョンとして、娘と妻の顔がエラーになった face error ver も同じセクションに記録しています。
主人公や登場人物の写真を変更するだけで、映像の内容や構成が同じミュージックビデオをワンショットで生成できます。下の各バージョンは、同じ楽曲、同じ歌詞タイムライン、同じシーン構成を保ちながら、参照写真だけを差し替えて生成した公開例です。
公開用パイプライン
利用者がテーマとThe first person画像を渡すだけで、楽曲生成からMV生成までをローカルで再現できるように整理したパイプラインです。YouTube公開はこの再現パイプラインの範囲外です。
人物参照画像の成功例と失敗例
入力画像（daito）からmomとdaughterの参照画像を生成する工程では、人物の特徴が適切に変換される場合と、元画像の特徴が過剰に残ってしまう場合があります。ここでは成功例と失敗例を並べて紹介します。
入力人物の雰囲気を参照しながら、momとdaughterとして別人物に変換できた例です。
momとdaughterを生成しようとしても、入力画像の顔の特徴、眼鏡、髭などが残り、家族キャラクターとして成立しにくくなることがあります。
右側縦書きの字幕
字幕は画面下ではなく、右側に縦書きで配置しています。説明ではなく、画面の一部として歌詞を見せるための設計です。
映画の字幕のように映像の余白へ入り込み、歌詞を説明ではなく画面の一部として見せることを意図しました。半透明の黒いボックスは使わず、白い文字と黒い縁取りだけで映像に重ねています。
句点や読点も極力使わず、改行と表示の消え方で歌詞のリズムを見せています。
楽曲とリリック
このバージョンでは、楽曲とリリックの制作にChatGPTとSunoを使用しました。
歌詞のテーマ、父親視点のストーリー、家族の関係性、ミュージックビデオで使用する言葉の流れなどを整理しながら、数十回にわたる試行錯誤と調整を重ねて現在のバージョンを制作しています。その後、構成した歌詞やコンセプトをもとにSunoで楽曲を生成しています。
完全自動化版では、短いテキスト入力から楽曲とリリックを自動生成することも可能です。しかし2026年5月時点では、音楽生成の品質においてSunoが非常に優れており、現時点では人間によるディレクションと組み合わせることで、より高い完成度を実現できると考えています。
完成映像からのフレーム
このページの画像は、入力参照画像そのものではなく、完成映像上の見え方を紹介するためのWeb用派生画像です。
クレジット
制作の主な役割と使用した生成ツールです。
関連リンク
映像、楽曲、制作時に参照した生成ツールの公開情報です。
関連する参照ページ
FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。