日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.04524

VLM-TDP:視覚言語モデル誘導の軌道条件付き拡散ポリシーによる堅牢な長期的マニピュレーション

VLM-TDP: VLM-guided Trajectory-conditioned Diffusion Policy for Robust Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルで長期タスクをサブタスクに分解し、各サブタスクのボクセル軌道を生成して拡散ポリシーの条件付けに用いることで、画像ノイズや環境変化に強い長期的マニピュレーションを実現した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの新手法 VLM-TDP(VLM-guided Trajectory-conditioned Diffusion Policy)の提案 - 長期的(long-horizon)タスクと画像ノイズに対する頑健性を狙う - VLM でタスクをサブタスクに分解し、各サブタスクの voxel ベース軌道を生成 - 生成軌道を条件として Diffusion Policy を誘導する枠組み

2. 先行研究と比べてどこがすごい?

- 従来の Diffusion Policy は短期的タスクが中心で、画像ノイズ下で性能が大きく劣化 - 提案法は VLM によるタスク分解と軌道生成を組み合わせ、長期的タスクへ拡張 - 古典的 Diffusion Policy と比較し成功率平均 44% 向上 - long-horizon タスクで 100% 超の改善、ノイズ画像や環境変化下で性能劣化を 20% 低減

3. 技術・手法の肝は?

- 最先端 VLM を用いて long-horizon タスクを簡潔で扱いやすいサブタスクへ分解 - 各サブタスクに対し voxel ベースの軌道を生成 - 生成軌道を conditioning factor として Diffusion Policy を誘導 - Trajectory-conditioned Diffusion Policy(TDP)はデモンストレーションデータ由来の軌道で学習 - 推論時は VLM 生成軌道で検証・駆動

4. どうやって有効だと検証した?

- シミュレーション実験で古典的 Diffusion Policy と比較 - 成功率平均 44% 向上、long-horizon タスクで 100% 超改善、ノイズ画像・環境変化下で劣化 20% 低減を報告 - 実世界実験でも性能差を確認、long-horizon タスクで差がより顕著 - 動画は https://youtu.be/g0T6h32OSC8 で公開

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例の議論は記述なし) - 画像ノイズや環境変化への頑健性改善が主張されるが、詳細な分析は要旨からは不明 - VLM 生成軌道の誤りやサブタスク分解の品質影響は要旨からは不明

6. 次に読むべき論文は?

- 古典的 Diffusion Policy(Diffusion Policy) - VLM を用いたタスク分解・計画に関する研究(具体名は要旨からは不明) - voxel ベース軌道生成・3D 表現を用いた manipulation 研究(具体名は要旨からは不明) - long-horizon manipulation ベンチマークに関する研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kefeng Huang, Tingguang Li, Yuzhen Liu, Zhe Zhang, Jiankun Wang, Lei Han

分類: cs.RO

原文アブストラクト

Diffusion policy has demonstrated promising performance in the field of robotic manipulation. However, its effectiveness has been primarily limited in short-horizon tasks, and its performance significantly degrades in the presence of image noise. To address these limitations, we propose a VLM-guided trajectory-conditioned diffusion policy (VLM-TDP) for robust and long-horizon manipulation. Specifically, the proposed method leverages state-of-the-art vision-language models (VLMs) to decompose long-horizon tasks into concise, manageable sub-tasks, while also innovatively generating voxel-based trajectories for each sub-task. The generated trajectories serve as a crucial conditioning factor, effectively steering the diffusion policy and substantially enhancing its performance. The proposed Trajectory-conditioned Diffusion Policy (TDP) is trained on trajectories derived from demonstration data and validated using the trajectories generated by the VLM. Simulation experimental results indicate that our method significantly outperforms classical diffusion policies, achieving an average 44% increase in success rate, over 100% improvement in long-horizon tasks, and a 20% reduction in performance degradation in challenging conditions, such as noisy images or altered environments. These findings are further reinforced by our real-world experiments, where the performance gap becomes even more pronounced in long-horizon tasks. Videos are available on https://youtu.be/g0T6h32OSC8

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI