日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2603.20827

Swim2Real: VLMによるシステム同定を用いたシミュレーションから実機への転移

Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer

シェア:XThreadsFacebookLINEはてブBluesky

水泳動画とVLMフィードバックを用いてロボット魚のシミュレータの16パラメータを自動調整し、シミュレーションから実機への転移を可能にするパイプラインを提案した。

詳しい要約

1. どんなもの?

Swim2Realは、16パラメータのロボット魚シミュレータを、水泳動画とvision-language model (VLM) のフィードバックを用いてキャリブレーションするパイプライン。手設計の探索段階を必要とせず、sim-to-real転移を実現する。

2. 先行研究と比べてどこがすごい?

- 従来の同プラットフォームでは3つの手動調整段階が必要だった - Swim2Realは手設計の探索段階を不要にし、VLMがパラメータ更新を提案 - 16パラメータを同時にキャリブレーションし、速度のMAE=7.4 mm/sで次善手法より43%低減 - 5回の実行で外れ値シードがゼロ - 下流のRLポリシーがBayesOpt較正より12%、CMA-ESより90%遠くまで遊泳

3. 技術・手法の肝は?

- VLMがシミュレーション動画と実動画を比較し、パラメータ更新を提案 - backtracking line searchで各ステップサイズを検証し、方向は正しいが大きさが過大な提案を回復 - これによりaccept率が14%から42%へ3倍に向上 - 16パラメータを同時にキャリブレーション - 訓練されたポリシーからのモーターコマンドを50 Hzで実機の魚に転移

4. どうやって有効だと検証した?

- 全モーター周波数で実魚の速度に最も近く一致(MAE=7.4 mm/s、次善手法より43%低減) - 5回の実行で外れ値シードがゼロ - 下流のRLポリシーがBayesOpt較正シミュレータより12%、CMA-ESより90%遠くまで遊泳 - 訓練ポリシーのモーターコマンドが50 Hzで実機に転移

5. 議論はある?

- 非線形流体構造連成がパラメータ景観を混沌とさせ、簡略化流体モデルがsim-to-realギャップを生む - 制御された水棲実験は再現が難しい - VLM誘導キャリブレーションが動画から水棲ロボットのsim-to-realギャップを埋め、手動システム同定なしのゼロショットRL転移を可能にする - 水中ロボティクスの自動・汎用シミュレータ調整への一歩

6. 次に読むべき論文は?

- 同プラットフォームの先行研究(3段階の手動調整) - BayesOpt - CMA-ES - vision-language model (VLM) を用いたキャリブレーション関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes

分類: cs.RO

原文アブストラクト

We present Swim2Real, a pipeline that calibrates a 16-parameter robotic fish simulator from swimming videos using vision-language model (VLM) feedback, requiring no hand-designed search stages. Calibrating soft aquatic robots is particularly challenging because nonlinear fluid-structure coupling makes the parameter landscape chaotic, simplified fluid models introduce a persistent sim-to-real gap, and controlled aquatic experiments are difficult to reproduce. Prior work on this platform required three manually tailored stages to handle this complexity. The VLM compares simulated and real videos and proposes parameter updates. A backtracking line search then validates each step size, tripling the accept rate from 14% to 42% by recovering proposals where the direction is correct but the magnitude is too large. Swim2Real calibrates all 16 parameters simultaneously, most closely matching real fish velocities across all motor frequencies (MAE = 7.4 mm/s, 43% lower than the next-best method), with zero outlier seeds across five runs. Motor commands from the trained policy transfer to the physical fish at 50 Hz, completing the pipeline from swimming video to real-world deployment. Downstream RL policies swim 12% farther than those from BayesOpt-calibrated simulators and 90% farther than CMA-ES. These results demonstrate that VLM-guided calibration can close the sim-to-real gap for aquatic robots directly from video, enabling zero-shot RL transfer to physical swimmers without manual system identification, a step toward automated, general-purpose simulator tuning for underwater robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI