日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作計画arXiv:2607.25397

分解と再構成:デモから学習したプリミティブと視覚運動ポリシーによる計画

Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモを接触関係に基づいて原子スキルに分解し、視覚運動ポリシーとTAMPを統合して長期的な操作タスクを計画するフレームワークDR-LfDを提案した。

詳しい要約

1. どんなもの?

DR-LfD (Decomposed and Reorganized Skills Learned from Demonstrations) は、人間のデモンストレーションから学習した visuomotor policies を TAMP (Task and Motion Planning) ゲート型の意思決定システムに統合するフレームワーク。接触関係に基づいてデモを atomic skills に分解し、各スキルを visuomotor policy または object-centric primitive として再構成する。これにより、長期的で器用な操作タスクを、高レベルの計画と低レベルの実行の両方で処理する。

2. 先行研究と比べてどこがすごい?

従来の TAMP は記号的計画に優れるが接触を伴う操作では脆く、IL は視覚フィードバックによる操作に有効だが空間的一般化や多段階操作に弱い。DR-LfD は両者の長所を統合し、デモデータの必要量をスキルシーケンスの指数関数的な組み合わせから、スキルタイプの数に比例する形に削減する点が新しい。

3. 技術・手法の肝は?

手法の肝は、接触関係に基づくデモの分解と、visuomotor policies の開始・終了・制約を TAMP 互換の形式でモデル化し、異なるソースから学習したスキルを再構成可能にすること。これにより、TAMP が高レベルの計画を、visuomotor policies が低レベルの実行を担当する。

4. どうやって有効だと検証した?

実世界とシミュレーションの両方で、多段階・未見のセットアップ・物理的制約を含む多様なシナリオを対象にベンチマークを行い、DR-LfD の強い性能を示した。具体的な数値や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、分解の自動性やスキル間の遷移の堅牢性、TAMP との統合における計算コストなどについての議論は不明。また、デモデータの質や量が性能に与える影響についても言及がない。

6. 次に読むべき論文は?

要旨で参照されている TAMP と IL の関連研究。具体的には、TAMP の古典的枠組み(例: PDDL ベースのプランナー)や、IL の代表的手法(例: Behavior Cloning, DAgger)を挙げる。また、同様にデモからスキルを学習する研究(例: Learning from Demonstration)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

分類: cs.RO

原文アブストラクト

Successfully automating dexterous, long-horizon robotic manipulation requires frameworks capable of both high-level reasoning and fine-grained execution. Traditional task and motion planning (TAMP), while excellent at symbolic planning, is often brittle in contact-rich operations. Simultaneously, imitation learning (IL), while effective in manipulation tasks with visual feedback, is limited by its low capability in spatial generalization and multi-stage operation. To reconcile their complementary strengths and limitations, we propose DR-LfD (Decomposed and Reorganized Skills Learned from Demonstrations), a framework that seamlessly integrates visuomotor policies into a TAMP-gated decision-making system. Based on contact relationships, DR-LfD decomposes human demonstrations into atomic skills, which are reproduced as visuomotor policies or object-centric primitives. The initiation, termination, and constraints of the visuomotor policies are carefully modeled and implemented in a TAMP-compatible form, enabling reorganization of skills learned from different sources. DR-LfD transforms the learning problem from one requiring exponential demonstration data over possible skill sequences to one whose demonstration burden scales with the number of distinct skill types, with limited data for each skill. Through comprehensive real-world and simulation benchmarking across diverse scenarios, we demonstrate the strong performance of DR-LfD on tasks involving multiple steps, unseen setups, and physical constraints. Project website: https://dr-lfd.github.io/DR-LfD-website.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI