日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.15620

動的環境における汎化可能なロボットマニピュレーションに向けて

Towards Generalizable Robotic Manipulation in Dynamic Environments

シェア:XThreadsFacebookLINEはてブBluesky

動的環境でのロボット操作のための大規模データセットDOMINOとベンチマークを構築し、動きを考慮したVLAモデルPUMAを提案した論文。

詳しい要約

1. どんなもの?

- 動的環境でのロボットマニピュレーションの一般化を目指す研究。 - Vision-Language-Action (VLA) モデルは静的タスクに強いが、動くターゲットを含む動的環境では性能が低下する。 - 大規模データセット兼ベンチマーク DOMINO を導入。35タスク、階層的複雑度、110K以上の専門家軌道、多次元評価スイートを含む。 - 動的認識のための訓練戦略を探り、動的データの一般化可能性を検証。 - 動的認識対応のVLAアーキテクチャ PUMA を提案。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは単一フレーム観測に依存し、時空間推論が制限される。 - 動的マニピュレーションデータセットの不足が性能ギャップの主因。 - DOMINO は大規模で階層的な動的タスクと多次元評価を提供し、既存VLAを体系的に評価可能。 - PUMA は履歴認識知覚と短期予測を組み合わせ、ベースラインより成功率が6.3%絶対改善。 - 動的データ訓練が静的タスクに転移する頑健な時空間表現を育むことを示す。

3. 技術・手法の肝は?

- DOMINO: 35タスク、110K以上の専門家軌道、多次元評価スイートからなる大規模データセット兼ベンチマーク。 - PUMA: 動的認識対応VLAアーキテクチャ。 - シーン中心の履歴オプティカルフローを統合。 - 専用のworld queriesでオブジェクト中心の未来状態を暗黙的に予測。 - 履歴認識知覚と短期予測を結合。 - 動的認識のための効果的な訓練戦略を探索。

4. どうやって有効だと検証した?

- DOMINO上で既存VLAを体系的に評価。 - 動的認識のための訓練戦略を探索。 - 動的データの一般化可能性を検証。 - PUMAが最先端性能を達成し、ベースライン比で成功率6.3%絶対改善。 - 動的データ訓練が静的タスクに転移する時空間表現を育むことを示す。

5. 議論はある?

- 動的環境におけるVLAの性能ギャップは、データ不足と単一フレーム観測への依存に起因。 - 動的データ訓練が静的タスクへの転移を促進する可能性を示唆。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 主流のVision-Language-Action (VLA) モデル。 - 関連手法: 動的マニピュレーション、時空間推論、オプティカルフロー、world queries。 - 同分野の定番: ロボティクスマニピュレーション、Vision-Language-Actionモデル、動的環境ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Heng Fang, Shangru Li, Shuhan Wang, Xuanyang Xi, Dingkang Liang, Xiang Bai

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models excel in static manipulation but struggle in dynamic environments with moving targets. This performance gap primarily stems from a scarcity of dynamic manipulation datasets and the reliance of mainstream VLAs on single-frame observations, restricting their spatiotemporal reasoning capabilities. To address this, we introduce DOMINO, a large-scale dataset and benchmark for generalizable dynamic manipulation, featuring 35 tasks with hierarchical complexities, over 110K expert trajectories, and a multi-dimensional evaluation suite. Through comprehensive experiments, we systematically evaluate existing VLAs on dynamic tasks, explore effective training strategies for dynamic awareness, and validate the generalizability of dynamic data. Furthermore, we propose PUMA, a dynamics-aware VLA architecture. By integrating scene-centric historical optical flow and specialized world queries to implicitly forecast object-centric future states, PUMA couples history-aware perception with short-horizon prediction. Results demonstrate that PUMA achieves state-of-the-art performance, yielding a 6.3% absolute improvement in success rate over baselines. Moreover, we show that training on dynamic data fosters robust spatiotemporal representations that transfer to static tasks. All code and data are available at https://github.com/H-EmbodVis/DOMINO.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI