日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2506.02507

AURA: 検索拡張エージェントによる自律的スキルアップ

AURA: Autonomous Upskilling with Retrieval-Augmented Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMを活用して強化学習カリキュラムを自動設計し、ユーザープロンプトからヒューマノイドロボットのポリシーをゼロショットで学習・展開するフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット向けの curriculum reinforcement learning (RL) を LLM で自動設計するフレームワーク AURA の提案 - ユーザ prompt を YAML workflow に変換し、reward function・domain randomization・training 設定を丸ごと符号化 - 実行前に全ファイルを静的検証し、無駄な GPU 時間を削減 - retrieval-augmented な feedback loop で LLM agent が設計・実行・改善を反復 - 最終的に user prompt から end-to-end policy を学習し、custom humanoid robot へ zero-shot 展開

2. 先行研究と比べてどこがすごい?

- 従来は reward function・環境 randomization・training 設定の手動 tuning が必須だった - LLM-guided baseline と比較し、generation success rate・humanoid locomotion・manipulation で一貫して優位 - 手設計 controller では存在しなかった、prompt からの end-to-end policy 学習と zero-shot 実機展開を実現 - 設計の複雑さを抽象化し、手作業では構築困難な scalable な pipeline を可能に

3. 技術・手法の肝は?

- LLM を multi-stage curriculum の自律 designer として利用 - user prompt を schema-validated な YAML workflow に変換 - 全ファイルを GPU 実行前に静的 validation - 過去の training 結果を vector database に保存し、retrieval-augmented feedback loop で specialized LLM agent が段階を設計・実行・refine - これにより時間経過とともに継続的改善が可能

4. どうやって有効だと検証した?

- 定量実験で LLM-guided baseline と比較し、generation success rate・humanoid locomotion・manipulation で AURA が一貫して上回ることを示す - ablation study で schema validation と retrieval が curriculum 品質に重要と確認 - user prompt から end-to-end policy を学習し、custom humanoid robot 上で複数環境へ zero-shot 展開して有効性を実証

5. 議論はある?

- ablation により schema validation と retrieval の寄与が示され、両者が curriculum 品質の鍵と議論 - 手設計 controller では得られなかった prompt 起点の policy 学習・zero-shot 展開が可能になった点を強調 - 設計複雑性の抽象化による scalable・adaptive な pipeline の利点を主張 - 限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられる LLM-guided baselines の関連研究 - retrieval-augmented generation (RAG) を用いた LLM agent 設計の先行研究 - curriculum reinforcement learning の自動設計に関する研究 - domain randomization と reward function 設計の自動化研究 - humanoid locomotion・manipulation の RL ベンチマーク関連論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alvin Zhu, Yusuke Tanaka, Andrew Goldberg, Dennis Hong

分類: cs.RO

原文アブストラクト

Designing reinforcement learning curricula for agile robots traditionally requires extensive manual tuning of reward functions, environment randomizations, and training configurations. We introduce AURA (Autonomous Upskilling with Retrieval-Augmented Agents), a schema-validated curriculum reinforcement learning (RL) framework that leverages Large Language Models (LLMs) as autonomous designers of multi-stage curricula. AURA transforms user prompts into YAML workflows that encode full reward functions, domain randomization strategies, and training configurations. All files are statically validated before any GPU time is used, ensuring efficient and reliable execution. A retrieval-augmented feedback loop allows specialized LLM agents to design, execute, and refine curriculum stages based on prior training results stored in a vector database, enabling continual improvement over time. Quantitative experiments show that AURA consistently outperforms LLM-guided baselines in generation success rate, humanoid locomotion, and manipulation tasks. Ablation studies highlight the importance of schema validation and retrieval for curriculum quality. AURA successfully trains end-to-end policies directly from user prompts and deploys them zero-shot on a custom humanoid robot in multiple environments - capabilities that did not exist previously with manually designed controllers. By abstracting the complexity of curriculum design, AURA enables scalable and adaptive policy learning pipelines that would be complex to construct by hand. Project page: https://aura-research.org/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI