日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/モバイル操作arXiv:2606.00985

追加データなしでVLAを堅牢化:動作計画とのインターリーブ手法

Make Your VLA More Robust Without More Data By Interleaving Motion Planning

シェア:XThreadsFacebookLINEはてブBluesky

長期的なモバイル操作タスクで性能が低下するVLAモデルに対し、モデルベースの動作計画をインターリーブするフレームワークMPVIを提案し、追加学習なしでタスク成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- VLAモデルはmobile manipulationで進歩したが、long-horizonタスクの性能は低い。 - 課題は(1)高レベル目標への進捗維持、(2)早期エラーの累積。 - 大規模teleoperatedデータでのfinetuningでも解決しない。 - 提案MPVIはmodel-based motion planningとVLAを統合し、追加学習なしでrobustnessを向上。 - open-vocabulary object detection、frontier exploration、motion planningを用い、遠隔・遮蔽物体へのlocalizationとnavigationを可能にする。

2. 先行研究と比べてどこがすごい?

- 従来のend-to-end VLAはlong-horizonタスクで性能が低く、データ増加でも改善しない。 - MPVIは追加学習なしでrobustnessを改善し、BEHAVIOR-1Kでトップend-to-end VLA比113%のタスク進捗向上。 - モジュール間の信頼性の高い切り替えをVLM-based completion checkingとproprioceptive triggersで実現。

3. 技術・手法の肝は?

- model-based motion planningとVLAをinterleavingするフレームワーク。 - open-vocabulary object detectionで対象を検出。 - frontier explorationとmotion planningで遠隔・遮蔽物体へlocalizationとnavigation。 - VLM-based completion checkingとproprioceptive triggersでモジュール間の切り替えを信頼性高く行う。

4. どうやって有効だと検証した?

- BEHAVIOR-1K benchmarkで評価。 - トップend-to-end VLA baselineと比較し、タスク進捗が113%改善。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- BEHAVIOR-1K benchmark - end-to-end VLA baseline - open-vocabulary object detection - frontier exploration - motion planning - VLM-based completion checking

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dan BW Choe, Sundhar Vinodh Sangeetha, Samuel Coogan, Shreyas Kousik

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown remarkable progress for mobile manipulation, but their performance on long-horizon tasks remains poor. These tasks are especially challenging because (1) progress toward high-level goals must be maintained across extended sequences of spatially distributed subtasks, and (2) early execution errors compound rapidly over the task horizon. These challenges persist despite finetuning on large human teleoperated mobile manipulation data, indicating that more data alone may not resolve the problem. To address these challenges, we propose MPVI: Motion Planner / VLA Interleaving, a framework that integrates model-based motion planning with VLAs to improve robustness without further training. The proposed integration enables localization and navigation to distant or occluded target objects through cluttered scenes using open-vocabulary object detection, frontier exploration and motion planning. However, such integration is non-trivial, requiring reliable switching between modules; we show one way forward via VLM-based completion checking with proprioceptive triggers. We evaluate our approach on the BEHAVIOR-1K benchmark and demonstrate 113% improvement in task progress over a top end-to-end VLA baseline. Additional details are available at the project page: https://mpvi.netlify.app/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI