日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット学習arXiv:2606.18247

視覚検証による推論時制御と自律的なポリシー改善

Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement

シェア:XThreadsFacebookLINEはてブBluesky

汎用ロボットポリシーに視覚検証器を組み合わせ、推論時に行動を評価・選択することで追加学習なしで性能を向上させ、さらに検証済み軌道で微調整して自律的に改善する手法を提案した。

詳しい要約

1. どんなもの?

- 実世界のロボットが経験から学習し時間とともに改善するための仕組みを提案。 - VERITAS: 汎用ロボットポリシーのためのgenerator-verifierフレームワーク。 - 推論時のポリシーステアリングと自己改善を可能にする。 - 事前学習済みの汎用ロボットポリシーを「generator」として使用。 - 勾配不要の「visual verifier」を組み合わせ、推論時に行動を評価。

2. 先行研究と比べてどこがすごい?

- 追加のデモンストレーションデータや訓練なしで、推論時の検証が汎用ポリシーを一貫して上回る。 - 検証済みのロールアウトがオフラインポリシー改善の効果的な監督を提供。 - 検証済み自己生成軌道で微調整したポリシーが一貫した性能向上を達成。 - 検証済みロールアウトでのポストトレーニングは、人間の介入なしで専門家デモと同等の効率を実現。

3. 技術・手法の肝は?

- generator-verifierフレームワーク: 事前学習済み汎用ロボットポリシー(generator)と勾配不要のvisual verifierを組み合わせ。 - visual verifierが推論時に行動を評価。 - 推論時ステアリングにより、追加訓練なしでポリシー性能を改善。 - 検証済みロールアウトをオフラインポリシー改善の監督として利用。

4. どうやって有効だと検証した?

- 推論時検証が追加デモンストレーションデータなしで汎用ポリシーを一貫して上回ることを実証。 - 検証済み自己生成軌道で微調整したポリシーが一貫した性能向上を達成。 - 検証済みロールアウトでのポストトレーニングが専門家デモと同等の効率を達成し、人間の介入が不要であることを確認。

5. 議論はある?

- 推論時検証が展開中のロボットポリシー改善のための実用的でスケーラブルなメカニズムであることを強調。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、generalist robot policies、visual verification、offline policy improvement、self-improvementに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingtong Zhang, Dhruv Shah

分類: cs.RO, cs.AI

原文アブストラクト

Robots deployed in the real world should learn from their experience and improve over time. This requires a mechanism of practicing and learning from feedback. In this paper, we propose VERITAS, a generator-verifier framework for generalist robot policies for inference-time policy steering and self-improvement. We use a pre-trained generalist robot policy as a ``generator'' and pair it with a gradient-free ``visual verifier'' that evaluates actions at inference time. This framework enables inference-time steering that improves policy performance without additional training. We demonstrate that inference-time verification consistently outperforms vanilla generalists without training on additional demonstration data. Additionally, we demonstrate that the verified rollouts provide effective supervision for offline policy improvement: policies fine-tuned on verified self-generated trajectories achieve consistent performance gains. Notably, we find that post-training with verified rollouts achieves comparable efficiency to expert demonstrations, while requiring no human interventions. Our results highlight inference-time verification as a practical and scalable mechanism for improving robotic policies during deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI