日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2512.05953

対応志向模倣学習:3D条件付けによる柔軟な視覚運動制御

Correspondence-Oriented Imitation Learning: Flexible Visuomotor Control with 3D Conditioning

シェア:XThreadsFacebookLINEはてブBluesky

物体上のキーポイントの動きでタスクを指定し、可変な時空間粒度の指示に適応する条件付き模倣学習フレームワークを提案。実世界のマニピュレーションで従来手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 視覚運動制御のための条件付き方策学習フレームワーク COIL(Correspondence-Oriented Imitation Learning)を提案 - タスクをシーン内の物体上で選択された keypoints の意図された動きとして定義 - 固定数の keypoints や均一な時間間隔を仮定せず、可変の空間的・時間的粒度のタスク仕様を許容 - ユーザ意図やタスク要件に適応する柔軟な 3D タスク表現を特徴とする

2. 先行研究と比べてどこがすごい?

- 従来は固定数の keypoints や均一な時間間隔を仮定していたが、COIL は可変の空間的・時間的粒度を扱える - 実世界の manipulation タスクにおいて、sparse および dense の両仕様で prior methods より優れた性能を達成 - タスク・物体・motion patterns をまたいで汎化する点が示されている - 具体的な比較対象の手法名は要旨からは不明

3. 技術・手法の肝は?

- 各タスクを物体上の keypoints の意図された動きとして定義する correspondence-oriented なタスク表現 - 複数入力モダリティの情報を融合する spatio-temporal attention 機構を備えた条件付き方策 - correspondence-oriented なタスク表現を actions に頑健に grounding する設計 - simulation で収集した demonstrations を用い、correspondence labels を hindsight で自動生成するスケーラブルな自己教師ありパイプラインで学習

4. どうやって有効だと検証した?

- 実世界の manipulation タスクで評価を実施 - sparse および dense の両方の仕様下で prior methods と比較し優れた性能を報告 - タスク・物体・motion patterns をまたぐ汎化を評価 - 詳細な実験設定や指標は要旨からは不明

5. 議論はある?

- 可変の空間的・時間的粒度のタスク仕様が実世界 manipulation で有効であることを示唆 - 自己教師ありパイプラインと hindsight による correspondence labels 生成のスケーラビリティに言及 - 限界や失敗事例、計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別の prior methods は明記されていないため特定不可 - 関連手法として keypoint-based imitation learning、conditional policy learning、spatio-temporal attention を用いた visuomotor control、自己教師あり imitation learning の代表的文献を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunhao Cao, Zubin Bhaumik, Jessie Jia, Xingyi He, Kuan Fang

分類: cs.RO

原文アブストラクト

We introduce Correspondence-Oriented Imitation Learning (COIL), a conditional policy learning framework for visuomotor control with a flexible task representation in 3D. At the core of our approach, each task is defined by the intended motion of keypoints selected on objects in the scene. Instead of assuming a fixed number of keypoints or uniformly spaced time intervals, COIL supports task specifications with variable spatial and temporal granularity, adapting to different user intents and task requirements. To robustly ground this correspondence-oriented task representation into actions, we design a conditional policy with a spatio-temporal attention mechanism that effectively fuses information across multiple input modalities. The policy is trained via a scalable self-supervised pipeline using demonstrations collected in simulation, with correspondence labels automatically generated in hindsight. COIL generalizes across tasks, objects, and motion patterns, achieving superior performance compared to prior methods on real-world manipulation tasks under both sparse and dense specifications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI