日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2506.21057

知識駆動型模倣学習:多様な条件への汎化を実現する

Knowledge-Driven Imitation Learning: Enabling Generalization Across Diverse Conditions

シェア:XThreadsFacebookLINEはてブBluesky

外部の構造的意味知識を活用して物体表現を抽象化し、少ない実演データでロボットマニピュレーションの汎化性能を高める知識駆動型模倣学習を提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける模倣学習の枠組み。 - 外部の構造的意味知識(external structural semantic knowledge)を利用し、同一カテゴリ内の物体表現を抽象化する。 - 新規にsemantic keypoint graphを知識テンプレートとして導入。 - coarse-to-fineのtemplate-matchingアルゴリズムを開発し、構造的一貫性と意味的類似性の両方を最適化。 - 実世界の3つのロボット操作タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習は、限られたexpert demonstrationsにおける物体依存性により汎化能力が制約されていた。 - 提案手法は、expert demonstrationsがimage-based diffusion policiesのわずか4分の1でも優れた性能を達成。 - 新規物体・背景・照明条件に対して頑健性を示す。 - 実世界設定でのdata-efficientなロボット学習へのknowledge-drivenアプローチを開拓。

3. 技術・手法の肝は?

- 外部構造的意味知識を活用し、同一カテゴリ内の物体表現を抽象化。 - semantic keypoint graphを知識テンプレートとして構築。 - coarse-to-fineのtemplate-matchingアルゴリズムにより、構造的一貫性(structural consistency)と意味的類似性(semantic similarity)の両方を最適化。 - これにより物体固有依存を低減し、多様な条件への汎化を狙う。

4. どうやって有効だと検証した?

- 実世界の3つのロボット操作タスクで評価。 - image-based diffusion policiesと比較し、expert demonstrationsが4分の1の量で優れた性能を達成。 - 新規物体、背景、照明条件に対する頑健性を広範な実験で実証。

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、知識テンプレート構築の汎用性などに関する議論は要旨に記載なし)。

6. 次に読むべき論文は?

- image-based diffusion policies(比較対象として言及)。 - 関連手法として、semantic keypoint graphやtemplate-matchingを用いる模倣学習・物体表現抽象化の研究。 - 同分野の定番として、behavior cloningやdemonstration-based manipulation learningに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuochen Miao, Jun Lv, Hongjie Fang, Yang Jin, Cewu Lu

分類: cs.RO

原文アブストラクト

Imitation learning has emerged as a powerful paradigm in robot manipulation, yet its generalization capability remains constrained by object-specific dependencies in limited expert demonstrations. To address this challenge, we propose knowledge-driven imitation learning, a framework that leverages external structural semantic knowledge to abstract object representations within the same category. We introduce a novel semantic keypoint graph as a knowledge template and develop a coarse-to-fine template-matching algorithm that optimizes both structural consistency and semantic similarity. Evaluated on three real-world robotic manipulation tasks, our method achieves superior performance, surpassing image-based diffusion policies with only one-quarter of the expert demonstrations. Extensive experiments further demonstrate its robustness across novel objects, backgrounds, and lighting conditions. This work pioneers a knowledge-driven approach to data-efficient robotic learning in real-world settings. Code and more materials are available on https://knowledge-driven.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI