日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

水中ロボット/VLAarXiv:2610.25534

AQUAACT:水中ロボット遠隔操作データセットと閉ループベンチマーク

AQUAACT: A Joystick-Level Underwater Teleoperation Dataset and Closed-Loop Benchmark

シェア:XThreadsFacebookLINEはてブBluesky

パイロットのカメラ映像とジョイスティック操作を記録した、言語注釈付き水中ロボットデータセットを公開し、模倣学習やVLAモデルの閉ループ評価ベンチマークを構築した。

詳しい要約

1. どんなもの?

- AQUAACTは、水中ロボットのteleoperationデータセットおよびclosed-loop benchmark - パイロットがカメラ画像を見てjoystickで操作する様子を記録 - カメラ画像と言語注釈、人間のjoystickコマンド、vehicleのinertial measurementsを対応付け - 実世界1.9時間とシミュレーション17.9時間のdemonstrationsで構成 - 公開されている言語注釈付き水中teleoperationデータセットとしては初と主張

2. 先行研究と比べてどこがすごい?

- 陸上ではvision-language-action (VLA) modelsによる言語指示からの自律実行が進むが、水中では学習用データが乏しい - 既存の水中データセットは要旨からは不明 - 本研究はパイロットの操作を直接記録し、画像とjoystickコマンドを対応付けた点が新しい - 言語注釈付きで公開される初の水中データセットと位置付け - シミュレーションdemonstrationsが実データへ転移し、必要な実demonstrationsを大幅に削減できることを示す

3. 技術・手法の肝は?

- パイロットの操作過程を模倣するデータ収集手法 - カメラ画像、joystickコマンド、inertial measurementsを同期して記録 - 言語注釈を付与 - 実世界とシミュレーションの両方で人間パイロットが操作したdemonstrationsを収集 - シミュレーションから実への転移を利用し、実データ要件を低減 - closed-loop benchmarkでimitation-learning baselinesからVLA modelsまで7政策を比較

4. どうやって有効だと検証した?

- AQUAACTのシミュレーションdemonstrationsが実データへ転移することを実験で確認 - シミュレーションdemonstrationsにより、政策が必要とする実demonstrationsを大幅に削減できることを示す - シミュレーション上で7つの政策をclosed-loop benchmarkで評価 - 各政策はデフォルトのレシピで学習 - 結果として、どの政策もエピソードの5分の1以上を完了できず、タスクは未解決と結論

5. 議論はある?

- 水中タスクは依然として難しく、7政策のいずれもエピソードの20%超を完了できない - 陸上データで事前学習した大規模VLA modelsは、ゼロから学習した小規模政策に対して優位性を示さない - 陸上で学習したモデルが水中へ適応するギャップは未解決 - データセットの規模や実世界とシミュレーションの差など、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- vision-language-action (VLA) modelsの代表的研究 - imitation-learning baselines(behavior cloning等) - 水中ロボットのteleoperationおよび自律化に関する研究 - sim-to-real transferに関する研究 - 言語注釈付きロボットデータセットの構築手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenqi Wu, Trung Tien Dong, Aditya Penumarti, Mohamed A. Fouad, Menna A. Fouad, Mingyang Mao, Jane Jaejeong Shin, Xiaomin Lin

分類: cs.RO

原文アブストラクト

Underwater robots support a growing range of work, from inspecting offshore structures and pipelines to surveying reefs and accompanying divers. Most of these tasks, however, are still flown by hand by a pilot, which raises the question of whether they can be carried out autonomously instead. On land, vision-language-action (VLA) models already let robots carry out tasks autonomously from language instructions, which makes them a natural candidate for taking the pilot's place. Underwater, however, there is little data to train such models. We take inspiration from how these tasks are flown today: the pilot watches the camera image and steers with a joystick, whose commands the flight controller turns into motion. We therefore record the pilots and introduce AQUAACT, to our knowledge the first publicly available language-annotated underwater dataset pairing camera images with human joystick commands. It comprises 1.9 hours of real-world and 17.9 hours of simulated demonstrations, both flown by human pilots, together with the vehicle's inertial measurements. Experiments with AQUAACT show that its simulated demonstrations transfer to real data and greatly reduce the real demonstrations a policy needs. A closed-loop benchmark of seven policies in simulation, from imitation-learning baselines to VLA models, each trained with its default recipe, shows that these tasks remain far from solved: no policy completes more than a fifth of the episodes. Pretraining on land data gives large VLA models no advantage over small policies trained from scratch, a gap that land-trained models have yet to close underwater.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI