日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2602.10594

フローを活用した少数ショット模倣学習における人間デモンストレーションへの汎化

Flow-Enabled Generalization to Human Demonstrations in Few-Shot Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

シーンフロー予測とフロー・クロップ点群条件付きポリシーを組み合わせ、人間の動画のみで見られるシナリオへの汎化を実現した少数ショット模倣学習手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、Few-Shot Imitation Learningにおける人間のデモンストレーションへの汎化を目的とした手法SFCrPを提案する。 - SFCrPは、Scene Flow prediction model for Cross-embodiment learning (SFCr)とFlow and Cropped point cloud conditioned Policy (FCrP)から構成される。 - SFCrはロボットと人間の動画から学習し、任意の点の軌跡を予測する。 - FCrPは一般的なフローの動きに従いつつ、観測に基づいて精密タスクのための行動を調整する。 - 実世界の様々なタスク設定でSOTAベースラインを上回り、人間の動画のみで見られるシナリオへの空間的・インスタンス汎化を示す。

2. 先行研究と比べてどこがすごい?

- 従来のフローを中間表現として用いる研究は、物体やロボット/手の特定点のフローに焦点を当てており、相互作用の動きを記述できなかった。 - また、フローのみでは精密な動きの詳細を捉えられず、人間の動画のみで観察されるシナリオへの汎化は限定的であった。 - さらに、シーン観測に条件付けして精密な行動を生成すると、フロー条件付きポリシーが訓練タスクに過剰適合し、フローが示す汎化を弱める可能性があった。 - 本研究はこれらのギャップに対処し、任意の点軌跡を予測するSFCrと、フローとクロップ点群に条件付けられたFCrPを提案することで、従来手法を上回る性能と汎化を実現した。

3. 技術・手法の肝は?

- SFCrPは、Scene Flow prediction model for Cross-embodiment learning (SFCr)とFlow and Cropped point cloud conditioned Policy (FCrP)からなる。 - SFCrはロボットと人間の動画の両方から学習し、任意の点の軌跡を予測する。 - FCrPは、一般的なフローの動きに従いつつ、観測に基づいて行動を調整することで精密タスクに対応する。 - これにより、フローによる汎化を維持しつつ、精密な行動生成を可能にする。

4. どうやって有効だと検証した?

- 実世界の様々なタスク設定において、SOTAベースラインを上回る性能を示した。 - また、人間の動画のみで見られるシナリオへの強い空間的・インスタンス汎化を示した。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- 従来のフロー表現の限界(相互作用の動きを記述できない、精密な動きの詳細を捉えられない)を指摘。 - シーン観測への条件付けが過剰適合を引き起こし、フローによる汎化を弱める可能性を議論。 - これらの課題に対処するSFCrPの有効性を示す一方、限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:フローを中間表現として用いた先行研究(具体的名称は要旨からは不明)。 - 関連手法:Imitation Learning (IL)、Few-Shot Imitation Learning、Scene Flow prediction、Cross-embodiment learning。 - 同分野の定番:Behavior Cloning (BC)、Inverse Reinforcement Learning (IRL)、Domain Adaptation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runze Tang, Penny Sweetser

分類: cs.RO, cs.LG

原文アブストラクト

Imitation Learning (IL) enables robots to learn complex skills from demonstrations without explicit task modeling, but it typically requires large amounts of demonstrations, creating significant collection costs. Prior work has investigated using flow as an intermediate representation to enable the use of human videos as a substitute, thereby reducing the amount of required robot demonstrations. However, most prior work has focused on the flow, either on the object or on specific points of the robot/hand, which cannot describe the motion of interaction. Meanwhile, relying on flow to achieve generalization to scenarios observed only in human videos remains limited, as flow alone cannot capture precise motion details. Furthermore, conditioning on scene observation to produce precise actions may cause the flow-conditioned policy to overfit to training tasks and weaken the generalization indicated by the flow. To address these gaps, we propose SFCrP, which includes a Scene Flow prediction model for Cross-embodiment learning (SFCr) and a Flow and Cropped point cloud conditioned Policy (FCrP). SFCr learns from both robot and human videos and predicts any point trajectories. FCrP follows the general flow motion and adjusts the action based on observations for precision tasks. Our method outperforms SOTA baselines across various real-world task settings, while also exhibiting strong spatial and instance generalization to scenarios seen only in human videos.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI