Rhizomatiks Research
抽象、背景、システム構成、制作年表、参考文献、クレジットを含む公式Researchページを参照し、内容を要約・再構成しています。
フェンシングの剣先軌跡をARで可視化するために、マーカー付きモーションキャプチャから、マーカーを使わない深層学習ベースの3Dトラッキングへ発展した研究開発プロジェクトです。Rhizomatiks Researchの長文記録をFIL Designで再編集し、スポーツ中継、機械学習、リアルタイム可視化の流れを一つのケーススタディにまとめました。
フェンシングは歴史のある競技でありながら、剣先の速度や攻防の瞬間が視聴者に伝わりにくい。本プロジェクトは剣先の軌跡、角度、ガード位置、姿勢推定を組み合わせ、競技の不可視な情報を視覚的なレイヤーとして中継画面へ重ねることを目指しました。
抽象、背景、システム構成、制作年表、参考文献、クレジットを含む公式Researchページを参照し、内容を要約・再構成しています。
元ページで使用されていた画像を一度ローカルに保存し、公開ページではWebP化した軽量ファイルを使用しています。YouTube映像は元ページ同様にembedとして保持しています。
2013年、太田雄貴選手と電通によるスポーツ観戦のアップデート構想の中で、ライゾマティクスは剣先の軌跡を可視化するアイデアとプロトタイプ実装を担いました。既にモーションキャプチャ、ハイスピードカメラ、自作マーカーを用いた高速な身体動作のAR可視化に取り組んでいたことが、フェンシングへの展開につながっています。
フェンシングは歴史と知名度がある一方、ルールや攻防の瞬間が視聴者に伝わりにくい。競技をわかりやすく魅力的に見せるため、剣先そのものを情報レイヤーとして扱う構想が始まりました。
2012年当時のRhizomatiksでは、真鍋大度と石橋素がダンサーの高速な動きをトラッキングし、動きにグラフィックを合成するARプロジェクトを進めていました。
剣先に小さなマーカーを取り付ければ、当時のハイスピードカメラと解析技術でも軌跡を取得できることを確認。東京2020招致期の映像制作と、その後のマーカーレス研究開発へ接続しました。
初期の実装では剣に反射マーカーを取り付け、光学式モーションキャプチャで位置を取得していました。その後、競技者や道具への負荷を減らすため、カメラ画像のみから剣先を検出するマーカーレス方式へ移行します。
2013年から2014年にかけて、反射マーカーとモーションキャプチャを用いた剣先追跡とリアルタイムAR合成を検証。

4K映像内では剣先が数ピクセルしか写らず、剣のしなりや高速移動もあるため、YOLO v3を基盤に多段階の物体認識ネットワークを構築。

ピスト全体をカバーする24台の4Kカメラから複数方向の検出結果を統合し、剣先の3D位置、角度、ガード位置を推定。

高円宮杯 JAL Presents Fencing World Cup 2019では、複数カメラ、画像認識、姿勢推定、AR可視化を組み合わせた実運用システムとして構成されました。スマートフォン向け図版も含めて、元ページの資料をローカルWebPとして保持しています。
プロジェクトは短期のデモではなく、年ごとに技術仮説を変えながら現場へ近づいていったR&Dです。ResearchページのMakingを、実装上の判断が見える年表として再整理しています。
マーカー付き剣でリアルタイムトラッキングとAR表示を実装し、デモマッチで検証。
映像のみで剣先を追跡するため、シンプルな画像処理やコーナー検出を試すが精度面で課題が残る。
模擬試合を撮影し、YOLO v2系の多段カスケードを試作。学習データと精度の不足が見える。
1台のカメラとピスト中央部に限定した2D剣先検出が成功し、第71回全日本選手権のエキシビションで披露。
沼津で8台のカメラ、12名の選手、複数背景と照明条件による200,000枚以上の教師画像を新規撮影。
CGによる1,000,000枚以上の拡張データも組み合わせ、実試合で3Dトラッキングと姿勢推定を導入。
3D推定アルゴリズムとリアルタイムシステム開発のため、スタジオ内にミニチュア検証セットを組み、画像情報のみでのリアルタイム3D推定を確認。
トラッキングエリアを限定しない高精度な構成へ移行し、フェンシング固有の拘束条件と3D姿勢推定を統合してビジュアライズ表現を更新。
2019年の全日本選手権、World Cup、データセット撮影の記録を、同一ページ内で比較できるように配置しています。画像は元ファイルをダウンロードし、表示用に最適化しています。






元ページに埋め込まれていたYouTube映像は削除せず、同じページ内で再生できるembedとして再構成しています。映像ファイル自体はYouTube上の公開物を参照し、静止画像素材のみローカル最適化しています。
2019年の実試合導入では、剣先の位置だけでなく、剣先の角度、ガード部分の位置と角度、剣の形状、選手の姿勢推定を組み合わせる方向へ拡張されました。単なるエフェクトではなく、競技の構造を視聴可能なデータへ変換するシステムとして発展しています。
元ページではYOLOv3およびYOLO9000の論文が参照され、剣先検出の基盤として物体検出技術が位置づけられています。
現実の撮影データだけでなく、CGデータによる拡張を組み合わせることで、細い剣先を複数条件で検出できる学習環境を構築。
ARの軌跡表現は視覚効果であると同時に、競技理解の補助線として機能し、スポーツ中継の新しい情報レイヤーを設計しています。
Rhizomatiks Researchページに掲載されたプロジェクト別クレジットを、年次ごとのまとまりを保ったまま再構成しています。
FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。