Selected Work / Sports Visualization / Computer Vision

Fencing Tracking and Visualization System

フェンシングの剣先軌跡をARで可視化するために、マーカー付きモーションキャプチャから、マーカーを使わない深層学習ベースの3Dトラッキングへ発展した研究開発プロジェクトです。Rhizomatiks Researchの長文記録をFIL Designで再編集し、スポーツ中継、機械学習、リアルタイム可視化の流れを一つのケーススタディにまとめました。

Project
Fencing Visualized Project
Period
2012-2019
Field
AR / CV / Sports Broadcast
System
24 x 4K cameras / YOLO v3 / 3D tracking
Fencing tracking visualization key visual
Key visual from the Rhizomatiks Research record, downloaded locally and optimized as WebP.
01 / Overview

見えない速度を競技体験へ変換する

フェンシングは歴史のある競技でありながら、剣先の速度や攻防の瞬間が視聴者に伝わりにくい。本プロジェクトは剣先の軌跡、角度、ガード位置、姿勢推定を組み合わせ、競技の不可視な情報を視覚的なレイヤーとして中継画面へ重ねることを目指しました。

Source

Rhizomatiks Research

抽象、背景、システム構成、制作年表、参考文献、クレジットを含む公式Researchページを参照し、内容を要約・再構成しています。

Local Assets

Downloaded and Optimized

元ページで使用されていた画像を一度ローカルに保存し、公開ページではWebP化した軽量ファイルを使用しています。YouTube映像は元ページ同様にembedとして保持しています。

9 WebP assets System diagrams 2019 documentation
02 / Background

競技理解を拡張するためのR&D

2013年、太田雄貴選手と電通によるスポーツ観戦のアップデート構想の中で、ライゾマティクスは剣先の軌跡を可視化するアイデアとプロトタイプ実装を担いました。既にモーションキャプチャ、ハイスピードカメラ、自作マーカーを用いた高速な身体動作のAR可視化に取り組んでいたことが、フェンシングへの展開につながっています。

Project Background

フェンシングは歴史と知名度がある一方、ルールや攻防の瞬間が視聴者に伝わりにくい。競技をわかりやすく魅力的に見せるため、剣先そのものを情報レイヤーとして扱う構想が始まりました。

Rhizomatiks Background

2012年当時のRhizomatiksでは、真鍋大度と石橋素がダンサーの高速な動きをトラッキングし、動きにグラフィックを合成するARプロジェクトを進めていました。

Feasibility Study

剣先に小さなマーカーを取り付ければ、当時のハイスピードカメラと解析技術でも軌跡を取得できることを確認。東京2020招致期の映像制作と、その後のマーカーレス研究開発へ接続しました。

03 / System

マーカー付きARからマーカーなし3D推定へ

初期の実装では剣に反射マーカーを取り付け、光学式モーションキャプチャで位置を取得していました。その後、競技者や道具への負荷を減らすため、カメラ画像のみから剣先を検出するマーカーレス方式へ移行します。

Marker Tracking

2013年から2014年にかけて、反射マーカーとモーションキャプチャを用いた剣先追跡とリアルタイムAR合成を検証。

Marker based fencing visualization

Markerless Detection

4K映像内では剣先が数ピクセルしか写らず、剣のしなりや高速移動もあるため、YOLO v3を基盤に多段階の物体認識ネットワークを構築。

YOLO v3 sword tip detection concept diagram

3D Reconstruction

ピスト全体をカバーする24台の4Kカメラから複数方向の検出結果を統合し、剣先の3D位置、角度、ガード位置を推定。

Fencing tracking system architecture diagram
04 / Architecture

2019年World Cupの構成

高円宮杯 JAL Presents Fencing World Cup 2019では、複数カメラ、画像認識、姿勢推定、AR可視化を組み合わせた実運用システムとして構成されました。スマートフォン向け図版も含めて、元ページの資料をローカルWebPとして保持しています。

World Cup 2019 fencing tracking system diagram
System architecture for the H.I.H. Prince Takamado Trophy JAL Presents Fencing World Cup 2019.
Mobile version of the fencing tracking system diagram
Mobile diagram from the original Research page, kept as a local optimized asset.
05 / Making Timeline

2014-2019の実装変遷

プロジェクトは短期のデモではなく、年ごとに技術仮説を変えながら現場へ近づいていったR&Dです。ResearchページのMakingを、実装上の判断が見える年表として再整理しています。

2014

Marker Sword

マーカー付き剣でリアルタイムトラッキングとAR表示を実装し、デモマッチで検証。

2016

Markerless Test

映像のみで剣先を追跡するため、シンプルな画像処理やコーナー検出を試すが精度面で課題が残る。

2017

Dataset Trial

模擬試合を撮影し、YOLO v2系の多段カスケードを試作。学習データと精度の不足が見える。

2018

YOLO v3 / 2D

1台のカメラとピスト中央部に限定した2D剣先検出が成功し、第71回全日本選手権のエキシビションで披露。

2019

Large Dataset

沼津で8台のカメラ、12名の選手、複数背景と照明条件による200,000枚以上の教師画像を新規撮影。

2019

3D / Real Match

CGによる1,000,000枚以上の拡張データも組み合わせ、実試合で3Dトラッキングと姿勢推定を導入。

2019

Studio Validation

3D推定アルゴリズムとリアルタイムシステム開発のため、スタジオ内にミニチュア検証セットを組み、画像情報のみでのリアルタイム3D推定を確認。

2019

World Cup Update

トラッキングエリアを限定しない高精度な構成へ移行し、フェンシング固有の拘束条件と3D姿勢推定を統合してビジュアライズ表現を更新。

07 / Video Archive

YouTube embedを保持した映像資料

元ページに埋め込まれていたYouTube映像は削除せず、同じページ内で再生できるembedとして再構成しています。映像ファイル自体はYouTube上の公開物を参照し、静止画像素材のみローカル最適化しています。

Overview

Project Film

Fencing Visualized Projectの概要映像。

Rhizomatiks Background

Motion Capture Reference 01

2012年当時のARトラッキング文脈を示す参考映像。

Rhizomatiks Background

Motion Capture Reference 02

高速な身体動作にグラフィックを合成する既存知見。

Feasibility Study

Marker Feasibility

小さなマーカーとハイスピードカメラで剣先を取得できるかを検証した初期スタディ。

2014

Marker Sword Test

再帰性反射マーカー付きの剣をリアルタイムにトラッキングし、ARで軌跡を合成するテスト。

2016

Markerless CV Test

マーカーレス剣先トラッキングを、局所特徴量によるコーナー検出などのCV手法で検証した段階。

2017

YOLO v2 Dataset Trial

模擬試合映像から教師データセットを作り、YOLO v2の多段カスケードで剣先検出を試した段階。

2018

YOLO v3 / 2D Detection

YOLO v3に移行し、1台のカメラでピスト中央部の2D剣先検出に成功した段階。

2019

Large Dataset Shooting

キラメッセぬまづでの大規模な教師データセット撮影と、CGデータ拡張へ進んだ段階。

2019

Studio 3D Validation

ミニチュア検証セットを使い、画像情報のみから剣先位置のリアルタイム3D推定を確認。

2019 Deployment

72nd All Japan Championship

第72回全日本フェンシング選手権大会で、実試合に初導入されたシステムの記録。

08 / Research Notes

検出対象を剣先から競技状態へ広げる

2019年の実試合導入では、剣先の位置だけでなく、剣先の角度、ガード部分の位置と角度、剣の形状、選手の姿勢推定を組み合わせる方向へ拡張されました。単なるエフェクトではなく、競技の構造を視聴可能なデータへ変換するシステムとして発展しています。

Reference Model

元ページではYOLOv3およびYOLO9000の論文が参照され、剣先検出の基盤として物体検出技術が位置づけられています。

Data Strategy

現実の撮影データだけでなく、CGデータによる拡張を組み合わせることで、細い剣先を複数条件で検出できる学習環境を構築。

Broadcast Layer

ARの軌跡表現は視覚効果であると同時に、競技理解の補助線として機能し、スポーツ中継の新しい情報レイヤーを設計しています。

  1. [1] Redmon, Joseph and Ali Farhadi. "YOLOv3: An Incremental Improvement." ArXiv abs/1804.02767 (2018)
  2. [2] Redmon, Joseph and Ali Farhadi. "YOLO9000: Better, Faster, Stronger." 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016): 6517-6525.
09 / Credits

制作体制

Rhizomatiks Researchページに掲載されたプロジェクト別クレジットを、年次ごとのまとまりを保ったまま再構成しています。

Fencing Visualized Project

Creative Direction
Kaoru Sugano (Dentsu Lab Tokyo)
Planning, Creative Direction
Daito Manabe
Planning, Technical Direction, Hardware Engineering
Motoi Ishibashi
Technical Direction, System Development, Software Engineering
Yuya Hanai
Planning
Kazuyoshi Ochi / Ryosuke Sone (Dentsu Lab Tokyo)
Produce
Kohei Ai (Dentsu Lab Tokyo)

Yuki Ota Fencing Visualized project - Technology x Fencing (2013)

Technical Director
Daito Manabe
Technical Support
Motoi Ishibashi, Yuya Hanai
System Note
Fencing tracking and visualization system by Rhizomatiks Research (Daito Manabe + Motoi Ishibashi)

Yuki Ota Fencing Visualized project - Yuki Ota Fencing Championship (2014)

Creative Director
Daito Manabe
Technical Director
Motoi Ishibashi
Programmer
Yuya Hanai
Technical Support
Momoko Nishimoto, Toshitaka Mochizuki, Masaaki Ito

NTT DOCOMO | FUTURE-EXPERIMENT VOL.02 Expanding the Viewpoint (2017)

System Note
Fencing tracking and visualization system
Planning Creative Director
Daito Manabe
Technical Director Programmer
Motoi Ishibashi
System Engineer
Yuya Hanai
System Developer
Ryohei Komiyama
Visual Programmer
Satoshi Horii
System Operator
Muryo Homma, Tai Hideaki
System Operator Craft
Toshitaka Mochizuki, Saki Ishikawa
Project Manager, Producer
Takao Inoue

The 71st All Japan Fencing Championship (2018)

Technical Direction, System Development, Software Engineering
Yuya Hanai
Planning, Creative Direction
Daito Manabe
Planning, Technical Direction, Hardware Engineering
Motoi Ishibashi
Visual Programming
Satoshi Horii
Visual Programming
Futa Kera
Videographer
Muryo Homma
Hardware Engineering
Yuta Asai
Hardware Engineering
Kyohei Mouri
Technical Support
Saki Ishikawa
Project Management
Kahori Takemura
Project Management, Produce
Takao Inoue

The 72nd All Japan Fencing Championship (2019)

Technical Direction, System Development, Software Engineering
Yuya Hanai
Planning, Creative Direction
Daito Manabe
Planning, Technical Direction, Hardware Engineering
Motoi Ishibashi
Software Engineering
Kyle McDonald (IYOIYO)
Software Engineering
anno lab (Kisaku Tanaka, Sadam Fujioka, Nariaki Iwatani, Fumiya Funatsu), Kye Shimizu
Dataset System Engineering
Tatsuya Ishii
Dataset System Engineering
ZIKU Technologies, Inc. (Yoshihisa Hashimoto, Hideyuki Kasuga, Seiji Nanase, Daisetsu Ido)
Dataset System Engineering
Ignis Imageworks Corp. (Tetsuya Kobayashi, Katsunori Kiuchi, Kanako Saito, Hayato Abe, Ryosuke Akazawa, Yuya Nagura, Shigeru Ohata, Ayano Takimoto, Kanami Kawamura, Yoko Konno)
Visual Programming
Satoshi Horii, Futa Kera
Videographer
Muryo Homma
Hardware Engineering
Yuta Asai, Kyohei Mouri
Project Management
Kahori Takemura
Project Management, Produce
Takao Inoue

H.I.H. Prince Takamado Trophy JAL Presents Fencing World Cup 2019 (2019)

Technical Direction, System Development, Software Engineering
Yuya Hanai
Planning, Creative Direction
Daito Manabe
Planning, Technical Direction, Hardware Engineering
Motoi Ishibashi
Software Engineering
Kyle McDonald (IYOIYO)
Software Engineering
anno lab (Kisaku Tanaka, Sadam Fujioka, Nariaki Iwatani, Fumiya Funatsu), Kye Shimizu
Dataset System Engineering
Tatsuya Ishii
Dataset System Engineering
ZIKU Technologies, Inc. (Yoshihisa Hashimoto, Hideyuki Kasuga, Seiji Nanase, Daisetsu Ido)
Dataset System Engineering
Ignis Imageworks Corp. (Tetsuya Kobayashi, Katsunori Kiuchi, Kanako Saito, Hayato Abe, Ryosuke Akazawa, Yuya Nagura, Shigeru Ohata, Ayano Takimoto, Kanami Kawamura, Yoko Konno)
Visual Programming
Satoshi Horii, Futa Kera
Videographer
Muryo Homma
Hardware Engineering & Videographer Support
Toshitaka Mochizuki
Hardware Engineering
Yuta Asai, Kyohei Mouri, Saki Ishikawa
Project Management
Kahori Takemura
Project Management, Produce
Takao Inoue
AI Reference Surface

関連する参照ページ

FAQ、用語集、外部参照、計測、AI用索引へ移動できます。それぞれのリンク先で何を確認できるかを明記しました。