日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.12678

類推による適応:機能的対応関係を介した視覚運動ポリシーの分布外汎化

Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence

シェア:XThreadsFacebookLINEはてブBluesky

視覚運動ポリシーが分布外の見た目に遭遇した際、専門家から「どの訓練時の観察が機能的に対応するか」というフィードバックを得ることで、新たな実演収集や再訓練なしに既存の行動を転移させる手法を提案した。

詳しい要約

1. どんなもの?

- 視覚運動政策(visuomotor policy)のOOD汎化手法の提案 - behavior cloningで学習した政策はOOD視覚(物体・背景・環境変化)で失敗しやすい - OOD状況でも新規行動が不要な場合に着目し、ID行動を機能的対応で転用 - 展開時(test-time)に機能対応フィードバックを用いて介入する枠組み - Franka Pandaで実世界操作タスクに適用

2. 先行研究と比べてどこがすごい?

- 先行のinteractive imitation learningはOODごとに修正専門家デモを収集し再学習 - それらはコスト高・非効率という課題がある - 本研究は新規デモ収集や再学習を避け、機能対応のみで展開時汎化 - OOD成功に必ずしも新規行動が要らないという観察に基づく点が新しい - 低フィードバックでOOD物体・環境条件への汎化を改善

3. 技術・手法の肝は?

- (1)OOD検出と類似訓練観測の行動不一致によるフィードバック要求判定 - 現在観測がOODか確認し、最も類似する訓練観測が分岐行動を示すか特定 - (2)OOD-to-IDの機能対応フィードバックを専門家から取得し行動を曖昧性解消 - (3)機能的に対応するID観測でOOD観測に介入し展開時汎化を実行 - vision-based diffusion policyを基盤とした政策に適用

4. どうやって有効だと検証した?

- Franka Pandaロボットマニピュレータでの多様な実世界操作タスクで検証 - テスト時の機能対応がOOD物体・環境条件への汎化を改善することを示す - 低フィードバックで改善が得られることを報告 - 具体的タスク数や定量指標は要旨からは不明

5. 議論はある?

- 機能対応フィードバックを専門家が与える前提があり、その負担やスケール性は要旨からは不明 - OOD検出と類似観測の行動分岐判定の信頼性は要旨からは不明 - 機能対応が存在しない真に新規な行動が必要なOODへの限界は要旨からは不明 - 実世界タスクでの評価であり、シミュレーションや他ロボットへの一般性は要旨からは不明

6. 次に読むべき論文は?

- interactive imitation learning(修正専門家デモを用いる先行手法) - behavior cloning - vision-based diffusion policy - OOD detectionおよびdistribution shift下のvisuomotor policy汎化に関する研究 - 要旨で参照/比較されている個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranay Gupta, Henny Admoni, Andrea Bajcsy

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

End-to-end visuomotor policies trained using behavior cloning have shown a remarkable ability to generate complex, multi-modal low-level robot behaviors. However, at deployment time, these policies still struggle to act reliably when faced with out-of-distribution (OOD) visuals induced by objects, backgrounds, or environment changes. Prior works in interactive imitation learning solicit corrective expert demonstrations under the OOD conditions -- but this can be costly and inefficient. We observe that task success under OOD conditions does not always warrant novel robot behaviors. In-distribution (ID) behaviors can directly be transferred to OOD conditions that share functional similarities with ID conditions. For example, behaviors trained to interact with in-distribution (ID) pens can apply to interacting with a visually-OOD pencil. The key challenge lies in disambiguating which ID observations functionally correspond to the OOD observation for the task at hand. We propose that an expert can provide this OOD-to-ID functional correspondence. Thus, instead of collecting new demonstrations and re-training at every OOD encounter, our method: (1) detects the need for feedback by first checking if current observations are OOD and then identifying whether the most similar training observations show divergent behaviors, (2) solicits functional correspondence feedback to disambiguate between those behaviors, and (3) intervenes on the OOD observations with the functionally corresponding ID observations to perform deployment-time generalization. We validate our method across diverse real-world robotic manipulation tasks with a Franka Panda robotic manipulator. Our results show that test-time functional correspondences can improve the generalization of a vision-based diffusion policy to OOD objects and environment conditions with low feedback.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI