日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

タスク・動作計画arXiv:2510.26139

VLM誘導と交互サンプリングによる運動力学的タスク・動作計画

Kinodynamic Task and Motion Planning using VLM-guided and Interleaved Sampling

シェア:XThreadsFacebookLINEはてブBluesky

記号状態と数値状態を統合したハイブリッド状態木とVLMによる視覚的バックトラックで、運動力学的制約を考慮したタスク・動作計画を効率的に解く手法を提案した。

詳しい要約

1. どんなもの?

- 長期的なタスク計画と運動計画を統合する TAMP (Task and Motion Planning) の新しい planner を提案した研究。 - symbolic 状態と numeric 状態を統一的に表現する hybrid state tree に基づく kinodynamic TAMP planner。 - タスク決定と運動決定を同時に扱い、kinodynamic 制約を検証しながら解を探索する。 - VLM (Vision-Language Model) が状態の visual rendering に基づいて探索を誘導し、backtrack する。

2. 先行研究と比べてどこがすごい?

- 従来の TAMP は長期的問題で過剰な motion sampling により計算コストが高い。 - LLM ベースの手法は commonsense prior を与えるが 3D spatial reasoning を欠き、幾何学的・動学的 feasibility を保証できない。 - 提案手法は VLM の視覚的誘導と hybrid state tree により、成功率を 32.14%〜1166.67% 向上させ、複雑問題での計画時間も短縮。 - 従来 TAMP と LLM ベース TAMP の両方と比較して優位性を示す。

3. 技術・手法の肝は?

- symbolic と numeric を統一表現する hybrid state tree を中核に据える。 - kinodynamic 制約は off-the-shelf motion planner と physics simulator で検証する。 - VLM が状態の visual rendering を入力として TAMP 解の探索を誘導し、必要に応じて search を backtrack する。 - タスクと運動の決定を jointly に行う点が肝。

4. どうやって有効だと検証した?

- シミュレーション領域と実世界の両方で実験を実施。 - 従来 TAMP planner および LLM ベース TAMP planner と比較し、平均成功率の向上と複雑問題での計画時間短縮を確認。 - ablation により VLM backtracking の有効性を強調。

5. 議論はある?

- 要旨からは不明。 - ただし VLM backtracking の利点を ablation で示しており、その寄与が議論の焦点と推測される。 - 限界や失敗ケースに関する記述は要旨にはない。

6. 次に読むべき論文は?

- 比較対象である従来の TAMP planner および LLM ベース TAMP planner の関連研究。 - off-the-shelf motion planner と physics simulator を用いた kinodynamic 検証に関する研究。 - VLM をロボティクス計画に応用する研究 (visual rendering を用いた探索誘導)。 - hybrid state tree を用いた統合的タスク・運動計画の先行研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minseo Kwon, Young J. Kim

分類: cs.RO

原文アブストラクト

Task and Motion Planning (TAMP) integrates high-level task planning with low-level motion feasibility, but existing methods are costly in long-horizon problems due to excessive motion sampling. While LLMs provide commonsense priors, they lack 3D spatial reasoning and cannot ensure geometric or dynamic feasibility. We propose a kinodynamic TAMP planner based on a hybrid state tree that uniformly represents symbolic and numeric states during planning, enabling task and motion decisions to be jointly decided. Kinodynamic constraints embedded in the TAMP problem are verified by an off-the-shelf motion planner and physics simulator, and a VLM guides exploring a TAMP solution and backtracks the search based on visual rendering of the states. Experiments on the simulated domains and in the real world show 32.14% - 1166.67% increased average success rates compared to traditional and LLM-based TAMP planners and reduced planning time on complex problems, with ablations further highlighting the benefits of VLM backtracking. More details are available at https://graphics.ewha.ac.kr/kinodynamicTAMP/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI