日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.07127

人間支援によるロボット政策の行動選好最適化

Human-assisted Robotic Policy Refinement via Action Preference Optimization

シェア:XThreadsFacebookLINEはてブBluesky

人間とのインタラクションから得た選好信号を用いてVLAモデルを事後的に改善するAPOを提案し、失敗からの学習を可能にした。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを、人間とのインタラクションで得た選好に基づき事後改善する手法 Action Preference Optimization (APO) を提案する研究。 - 人間-ロボット協調フレームワークで失敗を修正し、介入を含むインタラクション軌跡を収集する。 - 二値の望ましさ信号を用いた適応的再重み付けで VLA を選好最適化し、失敗しやすい行動の抑制と修正行動の適応を狙う。 - シミュレーションと実世界の多様な manipulation タスクで評価し、コードとデータセットを公開。

2. 先行研究と比べてどこがすごい?

- VLA モデルは実世界展開の基盤モデルとして広く認識されるが、オフラインの expert demonstrations への依存が配備後の改善能力を制限する点を問題視。 - APO はオフライン専門家データのみに頼らず、環境とのインタラクションで得る人間支援の選好アライメントにより VLA を改善する点が特徴。 - 単純にインタラクション軌跡を選好最適化へ使う際の、不可逆なロボット行動と token 分布の不一致という課題に対処する適応的再重み付けを導入。 - 失敗から学ぶ能力を VLA に付与し、反復的改善と動的環境での信頼性向上を目指す。

3. 技術・手法の肝は?

- 人間-ロボット協調フレームワークにより、信頼できる失敗修正と人間介入を含むインタラクション軌跡を収集。 - 収集したインタラクションから二値の desirability signals を導出。 - 不可逆なロボット行動および token 分布の不一致に対処するため、adaptive reweighting algorithm を提案。 - この再重み付けにより、失敗しやすい行動を抑制しつつ修正行動への適応を強化する選好最適化を行う。

4. どうやって有効だと検証した?

- シミュレーションおよび実世界シナリオで実験を実施。 - 多様な manipulation タスクにおいて、人間支援フレームワークの優れた generalization と robustness を示したと報告。 - 具体的なタスク数・比較手法・指標は要旨からは不明。

5. 議論はある?

- 人間-ロボット協調を通じた VLA モデルの効率的かつ安定な最適化への示唆を主張。 - 不可逆なロボット行動や token 分布不一致への対処が設計上の論点として提示。 - 限界や失敗事例、人間介入コスト、スケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、offline expert demonstrations に基づく模倣学習、選好最適化(preference optimization)、human-robot collaboration による介入学習を挙げる。 - 公開コード/データセット: https://github.com/GeWu-Lab/Action-Preference-Optimization

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenke Xia, Yichu Yang, Hongtao Wu, Xiao Ma, Tao Kong, Di Hu

分類: cs.RO, cs.AI

原文アブストラクト

Establishing a reliable and iteratively refined robotic system is essential for deploying real-world applications. While Vision-Language-Action (VLA) models are widely recognized as the foundation model for such robotic deployment, their reliance on offline expert demonstrations critically limits their capacity for post-deployment refinement. To mitigate this limitation, we introduce Action Preference Optimization (APO), a method designed to refine VLA models by human-assisted preference alignment gathered through interaction with environments. This method begins with a human-robot collaboration framework for reliable failure correction and interaction trajectory collection through human intervention. However, directly leveraging these interaction trajectories for preference optimization is non-trivial due to the challenges of irreversible robotic actions and token distribution mismatch. To solve this, APO proposes an adaptive reweighting algorithm with binary desirability signals derived from interaction, empowering VLA models effectively suppress failure-prone actions while enhancing corrective action adaptation. Ultimately, APO equips VLA models with the crucial capability to learn from failure, paving the way for their iterative refinement and reliable deployment in dynamic environments. The experiments conducted in simulation and real-world scenarios prove superior generalization and robustness of our human-assisted framework across a variety of manipulation tasks. We believe this work could bring insights for efficient and stable optimization of VLA models through human-robot collaboration. The code and dataset are released at https://github.com/GeWu-Lab/Action-Preference-Optimization

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI