日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.38966

Video2SwimFish: 実魚動画から制御可能な魚モデルと生物学的遊泳運動を再構築する自動パイプライン

Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos

シェア:XThreadsFacebookLINEはてブBluesky

実魚の多視点動画から、その個体に合わせた変形メッシュと関節構造、実魚の遊泳運動に基づく低次元行動空間を自動構築し、個体別の遊泳ポリシーを学習するパイプラインとベンチマークを提案。

詳しい要約

1. どんなもの?

- 実魚の多視点動画から、制御可能な魚モデルと遊泳運動を自動生成するパイプライン Video2SwimFish とベンチマークの提案。 - 個体ごとの同期多視点動画を入力とし、VLM が選んだ canonical frame から実スケールの deformable mesh を再構成。 - VLM actor-critic loop で個体形態に適応した internal articulation を生成。 - 観測された midline curvature から Biological Locomotion Manifold (BLM) を抽出し、低次元行動空間として個体別遊泳 policy を学習。 - 6 種 120 個体の top/front 同期動画と、そこから得た制御可能アセット・個体別 policy の 2 データセットを公開。

2. 先行研究と比べてどこがすごい?

- 実魚動画から制御可能アセットと個体別遊泳 policy までを一貫して自動生成する点が特徴。 - 各アセットが元の動物個体に紐づくため、タスク成功率だけでなく trajectory shape・body curvature・tail-beat frequency の忠実度も評価できるベンチマークを提供。 - 従来の遊泳学習評価が主にタスク達成に偏っていたのに対し、個体忠実度を評価軸に加えている。 - 具体的な先行研究名や比較数値は要旨からは不明。

3. 技術・手法の肝は?

- VLM により canonical frame を選択し、同期多視点動画から metrically scaled deformable mesh を再構成。 - VLM actor-critic loop で個体形態に合った internal articulation を生成。 - 実魚の midline curvature から Biological Locomotion Manifold (BLM) を抽出し、実魚運動に制約された低次元 action space を構成。 - BLM を用いて各個体の swimming policy を学習。 - 再構成アセットと policy を組にしたデータセットを構築。

4. どうやって有効だと検証した?

- 6 種 120 個体の同期 top/front 動画と、そこから得た制御可能アセット・個体別 policy をデータセットとして公開。 - trajectory following、reward-free swimming behavior transfer from video、BlueROV がアセットを捕獲する downstream case study で評価。 - 評価指標は task success に加え、trajectory shape・body curvature・tail-beat frequency の個体忠実度。 - タスク成功率が最高の手法と locomotion fidelity が最高の手法は一致しないことを確認。

5. 議論はある?

- task success と locomotion fidelity は必ずしも同時に向上しないと報告。 - 個体動物の遊泳を忠実に再現することは未解決課題として提示。 - ベンチマークによりコミュニティの今後の取り組みを促す。 - 具体的な失敗要因や限界の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、multi-view 3D reconstruction、VLM-based actor-critic、Biological Locomotion Manifold (BLM)、reward-free swimming behavior transfer、BlueROV を用いた underwater embodied AI の研究が次に読む候補。 - 同分野の定番として、deformable mesh reconstruction や locomotion learning の一般的枠組みも参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hangong Chen, Linfeng Cheng, Tahsin Zaman Jilan, Ian Fuller, Lee Caesar, Jiaye Wu, Yantian Zha

分類: cs.RO

原文アブストラクト

We present Video2SwimFish, an automated pipeline and benchmark for building controllable fish assets from real-fish videos for underwater embodied AI. Given synchronized multi-view videos of an individual fish, the pipeline reconstructs a metrically scaled deformable mesh from a VLM-selected canonical frame, generates internal articulation adapted to that individual's morphology through a VLM actor-critic loop, and extracts a Biological Locomotion Manifold (BLM) from the fish's observed midline curvature. The BLM provides a low-dimensional action space bounded by real-fish motion, enabling an individual swimming policy to be learned for each reconstructed fish. We release two paired datasets: synchronized top- and front-view recordings of 120 individual fish across 6 species, and the controllable assets and individual swimming policies derived from them. Because every asset is tied to the animal it came from, the dataset supports a benchmark that evaluates locomotion learning not only on task success but on fidelity to that individual in trajectory shape, body curvature, and tail-beat frequency, across trajectory following, reward-free swimming behavior transfer from video, and a downstream case study in which a simulated BlueROV underwater robot captures one of the assets. We find that task success and locomotion fidelity do not necessarily improve together: the method achieving the highest task completion is not the method achieving the highest locomotion fidelity, and we identify faithful reproduction of individual animal locomotion as an open challenge for the community. Project website: https://hangongchen.github.io/video2swimfish-web/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI