日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.21924

トレース条件付きVLA計画による長期的操作

Long-Horizon Manipulation via Trace-Conditioned VLA Planning

シェア:XThreadsFacebookLINEはてブBluesky

長期的な操作タスクを、タスク管理VLMが現在の観察から残りの計画を予測し、視覚的トレースを実行VLAに提供することで、短期的なVLA実行を長期的な指示追従に拡張するフレームワークを提案。

詳しい要約

1. どんなもの?

- 長期的な操作タスクを対象とした modular なフレームワーク LoHo-Manip を提案。 - 短期的な VLA 実行を、専用の task-management VLM によって長期的な指示追従へ拡張。 - manager は executor から分離され、receding-horizon 方式で呼び出される。 - 現在の観測から、progress-aware な remaining plan を予測。 - subtask sequence と done + remaining split を軽量な language memory として含む。 - visual trace(2D keypoint trajectory prompt)で次にどこへ行き何に近づくかを指定。 - executor VLA は描画された trace を条件として、長期的意思決定を局所制御の繰り返しに変換。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は短期的実行が中心で、多段階・進捗依存・誤り蓄積に弱い。 - 本手法は manager と executor を分離し、receding-horizon で remaining plan を毎ステップ予測。 - 失敗ステップが後続出力に残り trace が更新される暗黙の closed loop を実現。 - 手作りの recovery logic や脆い visual-history buffer を不要にする点が新しい。 - 長期的成功・robustness・out-of-distribution generalization で強い改善を示す。

3. 技術・手法の肝は?

- task-management VLM が現在観測から progress-aware remaining plan を予測。 - subtask sequence と done + remaining split を language memory として保持。 - visual trace として 2D keypoint trajectory prompt を生成。 - executor VLA は rendered trace を条件に局所制御を繰り返す。 - 各ステップで remaining plan を再予測することで暗黙の closed loop を形成。 - 失敗ステップは後続出力に残り、trace が更新され自動継続・replanning が可能。 - これにより長期的意思決定を trace 追従の局所制御へ変換。

4. どうやって有効だと検証した?

- embodied planning、long-horizon reasoning、trajectory prediction、end-to-end manipulation を含む広範な実験を実施。 - simulation と実機 Franka robot の両方で検証。 - 長期的成功、robustness、out-of-distribution generalization における強い改善を実証。 - 詳細な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 手作りの recovery logic や脆い visual-history buffer を不要にできる点を主張。 - 暗黙の closed loop により自動継続と replanning が可能になると述べる。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として vision-language-action (VLA) policies、task-management VLM、receding-horizon planning、visual trace / keypoint trajectory prompt が挙げられる。 - 同分野の定番として RT-1、RT-2、OpenVLA などの VLA 研究や、SayCan などの long-horizon planning 研究が次に読む候補。 - ただし要旨に具体的な参照論文名は無いため、これらは一般名としての候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Isabella Liu, An-Chieh Cheng, Rui Yan, Geng Chen, Ri-Zhao Qiu, Xueyan Zou, Sha Yi, Hongxu Yin, Xiaolong Wang, Sifei Liu

分類: cs.RO

原文アブストラクト

Long-horizon manipulation remains challenging for vision-language-action (VLA) policies: real tasks are multi-step, progress-dependent, and brittle to compounding execution errors. We present LoHo-Manip, a modular framework that scales short-horizon VLA execution to long-horizon instruction following via a dedicated task-management VLM. The manager is decoupled from the executor and is invoked in a receding-horizon manner: given the current observation, it predicts a progress-aware remaining plan that combines (i) a subtask sequence with an explicit done + remaining split as lightweight language memory, and (ii) a visual trace -- a compact 2D keypoint trajectory prompt specifying where to go and what to approach next. The executor VLA is adapted to condition on the rendered trace, thereby turning long-horizon decision-making into repeated local control by following the trace. Crucially, predicting the remaining plan at each step yields an implicit closed loop: failed steps persist in subsequent outputs, and traces update accordingly, enabling automatic continuation and replanning without hand-crafted recovery logic or brittle visual-history buffers. Extensive experiments spanning embodied planning, long-horizon reasoning, trajectory prediction, and end-to-end manipulation in simulation and on a real Franka robot demonstrate strong gains in long-horizon success, robustness, and out-of-distribution generalization. Project page: https://www.liuisabella.com/LoHoManip

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI