日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚計画arXiv:2610.24981

夢見たことを実現:長期的ロボット操作のためのスパース視覚計画

Dream What I Can: Sparse Visual Planning for Long-Horizon Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

動画モデルをスパースな視覚サブゴール計画に接地させる階層型ポリシーDreamCanを提案し、長期的な操作タスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- ロボット操作のための階層型ポリシー「DreamCan」 - 事前学習済み video model を適応した high-level planner - low-level visuomotor policy と組み合わせる - 高レベルは dense な軌道ではなく sparse visual subgoal を生成 - reachability と task utility のバランスを取る - 長期的タスク(long-horizon robot manipulation)を対象

2. 先行研究と比べてどこがすごい?

- 従来の video model は「もっともらしい視覚的未来」が常に実行可能とは限らない問題があった - DreamCan は sparse visual planning で video model を接地(grounding) - language planner、dense-video planner、uniform-subgoal planner を上回る - LIBERO-Long で 0.1B-parameter の low-level policy により 91.2% 成功 - 実世界の bimanual タスク(box folding, packing)も遂行

3. 技術・手法の肝は?

- 階層構造: high-level planner + low-level visuomotor policy - high-level は pre-trained video model から適応 - dense trajectory ではなく sparse visual subgoal を生成 - offline かつ action-free な robot videos から reachability と task utility を推定 - dynamic programming で subgoal 列を選択(手動アノテーション不要) - 生成 subgoal は uniformly spaced な代替より到達されやすい

4. どうやって有効だと検証した?

- Language-Table タスクで高い planning 成功率 - LIBERO-Long で 91.2% 成功(0.1B-parameter low-level policy) - language / dense-video / uniform-subgoal planner との比較で優位 - 追加の suboptimal videos と test-time compute で更に改善 - 実世界 bimanual タスク(box folding, packing、未見の物体組み合わせ)で検証

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例の議論は記述なし) - suboptimal videos や test-time compute の追加が成功を改善すると報告 - 実世界タスクへの適用可能性を示唆

6. 次に読むべき論文は?

- 比較対象として言及: language planner、dense-video planner、uniform-subgoal planner - 基盤として言及: pre-trained video model、visuomotor policy - ベンチマーク: Language-Table、LIBERO-Long - 関連手法の詳細は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongkai Gao, Wenlong Huang, Haonan Chen, Lin Shao, Yilun Du, Jiajun Wu, Ruohan Zhang, Li Fei-Fei

分類: cs.RO

原文アブストラクト

Video models provide rich priors for generalizable robotic manipulation, but plausible visual futures are not always executable. We introduce DreamCan, a hierarchical policy that grounds video models through sparse visual planning: a high-level planner adapted from a pre-trained video model and a low-level visuomotor policy. Rather than predicting dense trajectories, the high-level planner generates sparse visual subgoals that balance reachability and task utility. From offline, action-free robot videos, we estimate these quantities and use dynamic programming to select subgoal sequences without manual annotations. The resulting subgoals are more reliably attained than uniformly spaced alternatives, and the full system outperforms language, dense-video, and uniform-subgoal planners, reaching high planning success rates on Language-Table tasks and 91.2% success on LIBERO-Long with a 0.1B-parameter low-level policy. Additional suboptimal videos and test-time compute further improve success. The system also performs challenging real-world bimanual tasks, including box folding and packing with unseen object combinations. More results are available at https://dreamcan.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI