日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32069

できないことを見つけよう:自己改善型VLAモデルのためのエージェント的実世界強化学習

Find Something You Can't Do: Agentic Real-World Reinforcement Learning for Self-Improving VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルが実世界で自律的に練習し、失敗から学んで自己改善する強化学習フレームワークFINDを提案。人間によるリセットや報酬ラベルなしで成功率を55%から71.9%に向上させた。

詳しい要約

1. どんなもの?

- 実世界ロボット操作のための agentic real-world RL フレームワーク FIND を提案 - VLA モデルを frozen policy として使うだけでなく、自己の失敗から継続的に改善 - 永続ワークスペースで scene understanding、weakness-aware practice、self-evaluation、policy improvement をループ化 - 自律練習を scene-conditioned かつ performance-aware なタスク選択問題として再定式化 - 事前定義タスクライブラリから vision-language agent が実行可能タスクを選び、成功率の低いものを優先 - 実行前後の観測をペアで用いて結果を自己評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は frozen policy として展開され、自己失敗から改善できない - 実世界 RL は継続改善の道だが、手動環境リセットとタスク成功 supervision が自律学習を妨げる - FIND は各 rollout 後に事前定義 scene へ復元せず、結果 scene から次に練習すべき内容を決定 - オンライン学習中に人間提供の reward label を必要としない - 8 実世界操作タスクで独立した人間評価の成功率を 55% から 71.9% へ改善

3. 技術・手法の肝は?

- 永続ワークスペースで scene understanding、weakness-aware practice、self-evaluation、policy improvement を閉ループ化 - vision-language agent が事前定義タスクライブラリから feasible task を特定 - 最近の成功率が低いタスクを優先する performance-aware な選択 - 実行前後の観測をペアにして outcome を評価 - frozen π_{0.5} VLA と residual off-policy RL で FIND を実装

4. どうやって有効だと検証した?

- 8 つの実世界操作タスクで評価 - 独立した人間評価による成功率が 55% から 71.9% へ向上 - 代表的な run では 6 時間のインタラクション内で 456 自律 episode を完了 - その間に scene-recovery intervention は 30 回、オンライン学習中の人間提供 reward label は不要 - ablation と系統的評価で主要設計選択、agent 評価精度、人間介入要件を検討

5. 議論はある?

- 実世界 RL における手動リセットと成功 supervision の課題に対処 - 自律練習のタスク選択と自己評価の設計が重要 - ablation と系統的評価で設計選択、agent 評価精度、人間介入要件を検討 - 具体的な限界や失敗事例、議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- π_{0.5} VLA - residual off-policy RL - vision-language agent を用いたタスク選択 - 実世界ロボット操作の自律 RL - 関連する VLA や real-world RL の研究は要旨で明示されていないため、同分野の定番として VLA と off-policy RL を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Fang, Zechu Li, Haolei Tong, Puze Liu, Georgia Chalvatzaki

分類: cs.RO

原文アブストラクト

Vision--language--action (VLA) models provide strong priors for robotic manipulation but are typically deployed as frozen policies, unable to improve from their own failures. Real-world reinforcement learning (RL) offers a path to continued improvement, yet manual environment resets and task-success supervision hinder autonomous learning. We introduce \textbf{FIND}, an agentic real-world RL framework that closes the loop between scene understanding, weakness-aware practice, self-evaluation, and policy improvement in a persistent workspace. FIND reframes autonomous practice as a scene-conditioned, performance-aware task-selection problem: instead of restoring a predefined scene after each rollout, it uses the resulting scene to determine what to practice next. A vision--language agent identifies feasible tasks from a predefined library, prioritizes those with lower recent success rates, and evaluates outcomes using paired pre- and post-execution observations. We instantiate FIND with a frozen $π_{0.5}$ VLA and residual off-policy RL. Across eight real-world manipulation tasks, the independent human-assessed success rate improves from $55\%$ to $71.9\%$. A representative run completes 456 autonomous episodes within 6 hours of interaction, requiring 30 scene-recovery interventions and no human-provided reward labels during online learning. Ablations and systematic evaluations further examine key design choices, agent evaluation accuracy, and human intervention requirements. Our website is made publicly available at: FIND.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI