日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32698

SEES: 失敗から自己進化するVLAポリシー適応システム

SEES: A Self-Evolving Embodied System via Failure-Guided VLA Policy Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

長期的タスクで失敗するVLAポリシーを、専門家の追加デモなしに自己改善するシステム。失敗した原子スキルを自動検出し、シミュレーションでRL学習してポリシーを進化させる。

詳しい要約

1. どんなもの?

- 長期的タスクにおけるVLAポリシーの失敗を自動的に改善する自己進化型システムSEESを提案。 - 長期的タスクを原子タスクに分解し、関連する原子スキルを共有するファミリーポリシーにルーティング。 - 実行中に原子タスクの結果を監視し、最も頻繁に失敗する原子スキルをボトルネックとして特定。 - シミュレーションでRLタスクを構築し、オンラインRLで共有ファミリーアダプタを更新。 - 専門家による追加デモンストレーションなしでVLAポリシーを改善。

2. 先行研究と比べてどこがすごい?

- 既存手法は専門家がボトルネックを特定し追加デモを提供する必要があり、コストが高く展開後に非現実的。 - SEESは失敗から学習し、追加の専門家デモンストレーションなしでVLAポリシーを改善。 - 長期的タスクの性能を段階的に向上させ、未見タスクへの転移も示す。

3. 技術・手法の肝は?

- 長期的タスクを原子タスクに分解し、関連する原子スキルを共有するファミリーポリシーにルーティング。 - 実行中に原子タスクの結果を自動監視し、最も失敗する原子スキルをボトルネックとして特定。 - シミュレーションで以前の状態を復元し、LLMでタスク固有の成功基準を生成してRLタスクを構築。 - オンラインRLで共有ファミリーアダプタを更新し、関連原子スキル間の正の転移と進化ラウンド間の累積的改善を促進。

4. どうやって有効だと検証した?

- 広範な実験でSEESが異なるVLAバックボーンと統合可能で、長期的タスク性能を段階的に改善することを示す。 - 未見タスクでの継続的改善を観察し、進化設定を超えた転移の証拠を提供。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、Vision-Language-Action (VLA) policies、Reinforcement Learning (RL)、Large Language Model (LLM) を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziwen Li, Hanlue Zhang, Zhenyang Ren, Tianyu Huang, Runqi Lin, Haoyu Wang, Zhengqing Gao, Yandong Guo, Fakhri Karray, Tongliang Liu, Chris Russell, Mingming Gong

分類: cs.RO

原文アブストラクト

Recent vision-language-action (VLA) policies demonstrate promising generalization across diverse short-horizon tasks. However, they remain unreliable on long-horizon tasks, partly because the large-scale training data is biased toward single-stage manipulation tasks that are cheaper to demonstrate. A single weak atomic skill can cause failures across multiple multi-stage tasks. To address such failures, existing methods often require experts to identify the bottleneck and provide additional demonstrations, making the improvement costly and potentially impractical after deployment. To this end, we present a Self-Evolving Embodied System (SEES) that learns from failures and improves the VLA policy without additional expert demonstrations. SEES decomposes long-horizon tasks into atomic tasks and routes them to corresponding family policies. Each family consists of related atomic skills that share one VLA adapter. During execution, the system automatically monitors atomic-task outcomes to identify the most frequently failing atomic skills as the current bottlenecks. To overcome these bottlenecks, SEES constructs tailored RL tasks in simulation by restoring previously encountered states and generating task-specific success criteria with an LLM. Online RL updates the shared family adapters to promote positive transfer among related atomic skills and cumulative improvement across evolution rounds. Extensive experiments show that SEES can be integrated with different VLA backbones to progressively improve their long-horizon performance. We also observe continued improvement on unseen tasks, providing evidence of transfer beyond the evolution settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI