日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.06224

EC-Flow: 動作ラベルなし動画からの多様なロボットマニピュレーションを可能にする身体中心フロー

EC-Flow: Enabling Versatile Robotic Manipulation from Action-Unlabeled Videos via Embodiment-Centric Flow

シェア:XThreadsFacebookLINEはてブBluesky

動作ラベルなし動画から身体中心のフローを予測して模倣学習を行い、変形物体や遮蔽、非物体変位タスクにも対応するロボットマニピュレーション手法を提案した。

詳しい要約

1. どんなもの?

- 言語指示に基づくロボット操作のためのフレームワーク「EC-Flow(Embodiment-Centric Flow)」 - action-unlabeled な動画から直接マニピュレーションを学習 - 物体中心ではなく embodiment(身体)中心の flow を予測 - 対象とする操作 - deformable object の扱い - occlusion を含む場面 - 物体変位を伴わないタスク(non-object-displacement) - 実機展開 - 標準的な robot URDF ファイルのみで関節間の kinematic 制約を指定し実行可能

2. 先行研究と比べてどこがすごい?

- 従来の language-guided 操作は低レベル action ラベル付きデータを模倣学習に必要とした - object-centric flow 予測手法は action ラベル不要化に貢献したが、剛体・明確な変位・遮蔽が少ない場面に限定 - EC-Flow は embodiment の kinematics を取り込むことで、deformable object・occlusion・非変位タスクへ一般化を拡張 - 実験で object-centric flow の prior state-of-the-art に対し改善 - occluded object handling で 62% 改善 - deformable object manipulation で 45% 改善 - non-object-displacement タスクで 80% 改善

3. 技術・手法の肝は?

- 核心は embodiment-centric flow の予測 - 身体の kinematics を組み込むことで汎化を高める - 言語指示・物体相互作用との接続 - goal-alignment module を導入 - movement consistency と goal-image prediction を同時最適化 - 実行可能なロボット動作への変換 - 標準 robot URDF ファイルで関節間の kinematic 制約を指定 - これにより EC-Flow を実行可能な action へ変換

4. どうやって有効だと検証した?

- シミュレーション(Meta-World)と実世界タスクの両方で検証 - 比較対象は prior state-of-the-art の object-centric flow 手法 - 報告された改善 - occluded object handling で 62% 改善 - deformable object manipulation で 45% 改善 - non-object-displacement タスクで 80% 改善 - 詳細な評価プロトコルや被験者数などは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されている主張は、embodiment の kinematics 導入が汎化に有効という点と、URDF のみで実機利用が容易という点 - 限界・失敗事例・計算コスト・URDF 依存性などの議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及された object-centric flow 予測手法(具体的な論文名は要旨からは不明) - 関連する基盤的手法として imitation learning、language-guided robotic manipulation - ベンチマークとして Meta-World - 実機展開の文脈で robot URDF(Unified Robot Description Format)関連の標準仕様

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixiang Chen, Peiyan Li, Yan Huang, Jiabing Yang, Kehan Chen, Liang Wang

分類: cs.RO, cs.AI

原文アブストラクト

Current language-guided robotic manipulation systems often require low-level action-labeled datasets for imitation learning. While object-centric flow prediction methods mitigate this issue, they remain limited to scenarios involving rigid objects with clear displacement and minimal occlusion. In this work, we present Embodiment-Centric Flow (EC-Flow), a framework that directly learns manipulation from action-unlabeled videos by predicting embodiment-centric flow. Our key insight is that incorporating the embodiment's inherent kinematics significantly enhances generalization to versatile manipulation scenarios, including deformable object handling, occlusions, and non-object-displacement tasks. To connect the EC-Flow with language instructions and object interactions, we further introduce a goal-alignment module by jointly optimizing movement consistency and goal-image prediction. Moreover, translating EC-Flow to executable robot actions only requires a standard robot URDF (Unified Robot Description Format) file to specify kinematic constraints across joints, which makes it easy to use in practice. We validate EC-Flow on both simulation (Meta-World) and real-world tasks, demonstrating its state-of-the-art performance in occluded object handling (62% improvement), deformable object manipulation (45% improvement), and non-object-displacement tasks (80% improvement) than prior state-of-the-art object-centric flow methods. For more information, see our project website at https://ec-flow1.github.io .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI