日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.11175

生成的スキル獲得のための身体性推論のリアルタイム検証

Real-Time Verification of Embodied Reasoning for Generative Skill Acquisition

シェア:XThreadsFacebookLINEはてブBluesky

身体性エージェントのスキル学習に検証モデルを導入し、手動の報酬設計なしで高密度報酬を自動生成するVERGSAを提案。タスク成功率を21%向上させた。

詳しい要約

1. どんなもの?

- 本論文は、embodied agent が制御スキルを生成的に獲得する際の検証をリアルタイムに行う枠組み VERGSA を提案する。 - 数学的推論の verification model の成功に着想を得て、embodied skill learning に検証原理を統合する。 - 検証駆動型 generative skill acquisition のための初の包括的 training dataset を構築し、手作業の reward engineering を排除する。 - 大規模 decision model の進展に資する、スケーラブルで進化するスキルレパートリーの獲得を目指す。

2. 先行研究と比べてどこがすごい?

- 従来は LLM などの generalist agent からの supervision signal に依存していたが、複雑な 3D 環境での有効性は不明瞭であった。 - 網羅的評価は計算コストが大きく、skill learning の効率を著しく妨げていた。 - VERGSA は数学的推論の verification を embodied learning へ拡張し、subtask と全体タスク双方の success metric を定義する。 - 手動 reward engineering を不要にする自動・スケーラブルな reward labeling scheme を導入する点が新しい。 - LLM-as-a-Judge baseline より verification quality で優れると報告している。

3. 技術・手法の肝は?

- 数学的推論の verification を embodied learning へ拡張し、文脈的に関連するタスクを prompt に動的に組み込む。 - subtask と overall task の両方について success metric を定義する。 - scene configuration と subtask learning の全体スキル獲得への寄与を反復的に確定し、dense reward signal を合成する自動 reward labeling scheme を構築する。 - これにより verification-driven generative skill acquisition 用の training dataset を自動生成する。

4. どうやって有効だと検証した?

- 実験により、exemplar task pool が平均 task success rate を 21% 改善することを示す。 - verification model が novel task で 24%、encountered task で 36% の success rate 向上をもたらすことを示す。 - LLM-as-a-Judge baseline と比較して verification quality で上回ることを示す。 - 具体的な環境・タスク・評価指標の詳細は要旨からは不明。

5. 議論はある?

- 複雑な 3D 環境における generalist agent の supervision の有効性が不明瞭である点を動機として挙げている。 - 網羅的評価の計算コストが skill learning の効率を妨げる課題を指摘している。 - 手動 reward engineering の負担を排除できると主張する。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 数学的推論の verification model(要旨で着想元として言及) - LLM-as-a-Judge(要旨で比較 baseline として言及) - generalist agent としての LLM を用いた supervision 研究(要旨で言及) - generative skill acquisition に関する先行研究(要旨で言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bo Yue, Shuqi Guo, Kaiyu Hu, Chujiao Wang, Benyou Wang, Kui Jia, Guiliang Liu

分類: cs.RO, cs.AI

原文アブストラクト

Generative skill acquisition enables embodied agents to actively learn a scalable and evolving repertoire of control skills, crucial for the advancement of large decision models. While prior approaches often rely on supervision signals from generalist agents (e.g., LLMs), their effectiveness in complex 3D environments remains unclear; exhaustive evaluation incurs substantial computational costs, significantly hindering the efficiency of skill learning. Inspired by recent successes in verification models for mathematical reasoning, we propose VERGSA (Verifying Embodied Reasoning in Generative Skill Acquisition), a framework that systematically integrates real-time verification principles into embodied skill learning. VERGSA establishes 1) a seamless extension from verification of mathematical reasoning into embodied learning by dynamically incorporating contextually relevant tasks into prompts and defining success metrics for both subtasks and overall tasks, and 2) an automated, scalable reward labeling scheme that synthesizes dense reward signals by iteratively finalizing the contribution of scene configuration and subtask learning to overall skill acquisition. To the best of our knowledge, this approach constitutes the first comprehensive training dataset for verification-driven generative skill acquisition, eliminating arduous manual reward engineering. Experiments validate the efficacy of our approach: 1) the exemplar task pool improves the average task success rates by 21%, 2) our verification model boosts success rates by 24% for novel tasks and 36% for encountered tasks, and 3) outperforms LLM-as-a-Judge baselines in verification quality.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI