日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/メタ学習/ロボット操作arXiv:2607.15880

動力学を考慮したメタ模倣学習による未知ロボット操作への汎化

Dynamics-Aware Meta-Imitation for Generalization to Unseen Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

メタ学習と動力学情報を統合した模倣学習フレームワークDAMIを提案し、未知タスクへの迅速な適応と汎化を実現した。

詳しい要約

1. どんなもの?

DAMI (Dynamics-Aware Meta-Imitation) は、未見のロボット操作タスクへの一般化を目指す模倣学習フレームワーク。メタラーニングにより共有スキル空間を構築し、少数のデモンストレーションから新しいタスクへの迅速な適応を可能にする。Visual-Motor Trajectory (VMT) モジュールでタスク潜在空間の時空間ダイナミクスを捉え、Unpaired Unified Task (U2T) ブロックで非構造化マルチモーダル観測を融合、Task-Conditioned Feature Modulation (TCFM) 機構で低レベル3D特徴を調整する。ランダムな完全参照デモから内在的ダイナミクスを抽出し、タスクの論理を学習する。

2. 先行研究と比べてどこがすごい?

既存の模倣学習は主にin-domainタスクに焦点を当て、未見タスクへの一般化に課題があった。DAMIはメタラーニングを統合し、共有スキル空間を構築することで、少数ショット適応による未見タスクへの一般化を実現する点が新しい。また、VMTモジュールによる時空間ダイナミクスの明示的モデリングと、U2Tブロックによる非構造化マルチモーダル観測の融合、TCFMによる3D特徴の調整を組み合わせた点が革新的。

3. 技術・手法の肝は?

手法の核は、メタラーニングによる共有スキル空間の構築、VMTモジュールによるタスク潜在空間の時空間ダイナミクス捕捉、U2Tブロックによる非構造化マルチモーダル観測の融合、TCFM機構による低レベル3D特徴の調整。ランダムな完全参照デモから内在的ダイナミクスを抽出し、タスクの論理を学習することで、静的な手がかりの記憶ではなく一般化を促進する。

4. どうやって有効だと検証した?

シミュレーションと実世界の両方で広範な実験を実施。既知タスクでの直接推論と、未見タスクへの少数ショットファインチューニングによる適応において、state-of-the-artベースラインを上回る性能を示した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。また、実世界実験の詳細(タスク数、ロボットプラットフォームなど)や、他のモダリティへの拡張性についても言及がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、模倣学習の一般化に関する分野の定番として、Meta-Imitation LearningやDomain Adaptation、Few-Shot Learningの手法が挙げられる。具体的には、MAML (Model-Agnostic Meta-Learning) や、CAVES (Cross-Adaptation via Variational Encoder for Skill) などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenduo Shang, Xiyao Liu, Bohan Li, Xudong Wang, Teng Ren, Lianqing Liu, Zhi Han

分類: cs.RO, cs.LG

原文アブストラクト

Imitation Learning aims to learn skills from extensive observations and demonstrations for robots, so it suffers from data scarcity and environment generalization. The existing methods predominantly focus on imitation from in-domain tasks and consequently struggle with generalization to unseen tasks. To bridge this generalization gap, we propose the \textbf{D}ynamics-\textbf{A}ware \textbf{M}eta-\textbf{I}mitation (DAMI) framework. By integrating meta-learning to construct a shared skill space, DAMI equips agents for rapid adaptation to novel tasks. We introduce the Visual-Motor Trajectory (VMT) module to capture complex spatio-temporal dynamics within the task latent space. Furthermore, we propose the Unpaired Unified Task (U2T) block to fuse unstructured multimodal observations. To coordinate these representations, we integrate a Task-Conditioned Feature Modulation (TCFM) mechanism customized for modulating low-level 3D features. By capturing intrinsic dynamics from a random complete reference demonstration, our framework learns the underlying task logic rather than memorizing static cues, ensuring effective generalization. Extensive experiments in both simulation and real-world settings demonstrate that our approach outperforms state-of-the-art baselines regarding direct inference on seen tasks and adaptation to unseen tasks via few-shot fine-tuning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI