日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2604.13533

長期・短期の振り返りと最適化による進化可能な身体化エージェントによるロボット操作

Evolvable Embodied Agent for Robotic Manipulation via Long Short-Term Reflection and Optimization

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルを用いて環境解釈と方策計画を行い、長期・短期の振り返り機構でプロンプトを動的に改善することで、ロボットが自己進化し複雑な操作タスクの成功率を高めるフレームワークを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための進化可能な具現化エージェント(EEAgent)フレームワークを提案。 - 大規模視覚言語モデル(VLM)を活用し、環境解釈とポリシー計画を行う。 - 長短期反射最適化(LSTRO)機構により、過去の経験と新たな教訓に基づいてプロンプトを動的に洗練し、継続的な自己進化を実現。 - 6つのVIMA-Benchタスクで評価し、複雑なシナリオでベースラインを上回る最先端性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来手法は広範な訓練要件、クロスタスク汎化の困難さ、解釈性の欠如などの限界があった。 - プロンプト学習は自己進化の機会を提供するが、成功と失敗から有意義な洞察を抽出することが課題であった。 - 提案手法はLSTROにより過去の経験と新たな教訓を統合し、継続的な自己進化を可能にし、タスク成功率を向上させる点が優れている。

3. 技術・手法の肝は?

- 大規模視覚言語モデル(VLM)を用いて環境解釈とポリシー計画を実行。 - 長短期反射最適化(LSTRO)機構を導入し、過去の経験と新たに学習した教訓の両方に基づいてプロンプトを動的に洗練。 - これにより継続的な自己進化を促進し、全体的なタスク成功率を高める。

4. どうやって有効だと検証した?

- 6つのVIMA-Benchタスクで評価を実施。 - 提案手法が新たな最先端性能を達成し、特に複雑なシナリオでベースラインを大幅に上回ることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- VIMA-Bench(評価ベンチマーク) - 大規模視覚言語モデル(VLM) - プロンプト学習(prompt learning) - 反射最適化(reflective optimization)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianzong Wang, Botao Zhao, Yayun He, Junqing Peng, Xulong Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Achieving general-purpose robotics requires empowering robots to adapt and evolve based on their environment and feedback. Traditional methods face limitations such as extensive training requirements, difficulties in cross-task generalization, and lack of interpretability. Prompt learning offers new opportunities for self-evolving robots without extensive training, but simply reflecting on past experiences. However, extracting meaningful insights from task successes and failures remains a challenge. To this end, we propose the evolvable embodied agent (EEAgent) framework, which leverages large vision-language models (VLMs) for better environmental interpretation and policy planning. To enhance reflection on past experiences, we propose a long short-term reflective optimization (LSTRO) mechanism that dynamically refines prompts based on both past experiences and newly learned lessons, facilitating continuous self-evolution, thereby enhancing overall task success rates. Evaluations on six VIMA-Bench tasks reveal that our approach sets a new state-of-the-art, notably outperforming baselines in complex scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI