日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.01040

対照的プロンプト統合による適応型クロスエンボディメント視覚運動ポリシーの学習

Learning Adaptive Cross-Embodiment Visuomotor Policy with Contrastive Prompt Orchestration

シェア:XThreadsFacebookLINEはてブBluesky

視覚・時系列行動・テキストの対照学習でプロンプト群を獲得し、観測に応じて動的に統合することで、異なる身体・センサ構成に適応する視覚運動ポリシーを学習する手法CAPOを提案した。

詳しい要約

1. どんなもの?

- クロスエンボディメントの視覚運動政策学習のための新しい手法 CAPO を提案する論文。 - 多様なセンサ構成や動的特性の違いに対応する適応的な視覚運動政策を学習する。 - 対照的プロンプト学習と適応的プロンプトオーケストレーションを統合する。 - 未見環境でのゼロショット適応を目指す。

2. 先行研究と比べてどこがすごい?

- 従来の学習アプローチはタスク関連特徴とドメイン固有変動(照明、視野、回転など)を分離できず、サンプル効率が悪く未見環境で破滅的に失敗する。 - CAPO は対照的プロンプト学習と適応的プロンプトオーケストレーションにより、これらの問題を克服する。 - 最先端ベースラインと比較してサンプル効率と漸近性能で大幅に優れる。 - 未見ターゲットドメインへのゼロショット適応が優れている。

3. 技術・手法の肝は?

- ハイブリッド対照学習戦略:視覚、時間的行動、テキストの目的を統合し、学習可能なプロンプトのプールを構築する。 - 各プロンプトは細粒度のドメイン要因をカプセル化した視覚表現を誘導する。 - 適応的プロンプトオーケストレーション機構:現在の観測に条件付けしてプロンプトを動的に集約する。 - エージェントは支配的なドメイン要因を瞬時に特定し、最適な状態表現を適応的に構築する。 - 政策最適化は無関係な干渉から保護され、ソースドメインへの過学習を防ぐ。

4. どうやって有効だと検証した?

- 広範な実験により、CAPO が最先端ベースラインをサンプル効率と漸近性能で大幅に上回ることを示す。 - 劇的な環境変化(照明など)や物理的変化(視野、回転など)を特徴とする未見ターゲットドメインへの優れたゼロショット適応を実証する。 - クロスエンボディメント視覚運動政策適応の有効な解決策であることを検証する。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、cross-embodiment visuomotor policy learning、contrastive learning、prompt learning、domain adaptation に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Zhang, Chao Yan, Jiaxi Yu, Jiaping Xiao, Mir Feroskhan

分類: cs.RO

原文アブストラクト

Learning adaptive visuomotor policies for embodied agents remains a formidable challenge, particularly when facing cross-embodiment variations such as diverse sensor configurations and dynamic properties. Conventional learning approaches often struggle to separate task-relevant features from domain-specific variations (e.g., lighting, field-of-view, and rotation), leading to poor sample efficiency and catastrophic failure in unseen environments. To bridge this gap, we propose ContrAstive Prompt Orchestration (CAPO), a novel approach for learning visuomotor policies that integrates contrastive prompt learning and adaptive prompt orchestration. For prompt learning, we devise a hybrid contrastive learning strategy that integrates visual, temporal action, and text objectives to establish a pool of learnable prompts, where each prompt induces a visual representation encapsulating fine-grained domain factors. Based on these learned prompts, we introduce an adaptive prompt orchestration mechanism that dynamically aggregates these prompts conditioned on current observations. This enables the agent to adaptively construct optimal state representations by identifying dominant domain factors instantaneously. Consequently, the policy optimization is effectively shielded from irrelevant interference, preventing the common issue of overfitting to source domains. Extensive experiments demonstrate that CAPO significantly outperforms state-of-the-art baselines in sample efficiency and asymptotic performance. Crucially, it exhibits superior zero-shot adaptation across unseen target domains characterized by drastic environmental (e.g., illumination) and physical shifts (e.g., field-of-view and rotation), validating its effectiveness as a viable solution for cross-embodiment visuomotor policy adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI