日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.19839

身体化エージェントのための環境理解ビジョン言語モデル

Environmental Understanding Vision-Language Model for Embodied Agent

シェア:XThreadsFacebookLINEはてブBluesky

身体化エージェントの指示追従性能を高めるため、物体認識・タスク計画・行動理解・目標認識の4技能を微調整した環境理解フレームワークを提案し、失敗時の回復ステップとGRPOによる最適化で成功率を向上させた。

詳しい要約

1. どんなもの?

- 指示追従型のembodied agent向けに、環境理解を強化するVision-Language Model (VLM) フレームワーク「Environmental Understanding Embodied Agent (EUEA)」を提案。 - 4つのコアスキル(object perception, task planning, action understanding, goal recognition)をfine-tuningする。 - さらにrecovery stepとgroup relative policy optimization (GRPO) stageを導入し、タスク実行の信頼性を高める。

2. 先行研究と比べてどこがすごい?

- 既存のVLMは知覚・推論能力や汎化性能を持つが、環境理解に限界があり、interactionの失敗や実行時のenvironment metadata依存が問題だった。 - EUEAは4スキルのfine-tuningにより、behavior-cloning baselineをALFREDタスクで平均成功率8.86%上回る。 - recoveryとGRPOでさらに3.03%の性能向上を達成。

3. 技術・手法の肝は?

- 4つのコアスキル(object perception, task planning, action understanding, goal recognition)をVLMにfine-tuning。 - recovery step:失敗ケースを修正するため代替actionをサンプリング。 - GRPO stage:一貫性のないスキル予測を洗練。 - これらを組み合わせ、指示追従のタスク実行をより信頼できるものにする。

4. どうやって有効だと検証した?

- ALFREDタスクで評価。 - behavior-cloning baselineと比較し、平均成功率で8.86%の改善を確認。 - recoveryとGRPOの追加でさらに3.03%の向上。 - スキルレベルの分析により、closed-sourceおよびopen-source VLMの環境理解の限界と、効果的なagent-environment interactionに必要な能力を特定。

5. 議論はある?

- スキルレベル分析から、closed-sourceおよびopen-source VLMの環境理解における主要な限界を明らかにし、効果的なagent-environment interactionに必要な能力を特定。 - ただし、具体的な限界の内容や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:behavior-cloning baseline、ALFREDタスク。 - 関連手法:group relative policy optimization (GRPO)。 - 同分野の定番:Vision-Language Models (VLMs) for embodied agents、instruction-following embodied agents。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinsik Bang, Jaeyeon Bae, Donggyu Lee, Siyeol Jung, Taehwan Kim

分類: cs.CV, cs.AI

原文アブストラクト

Vision-language models (VLMs) have shown strong perception and reasoning abilities for instruction-following embodied agents. However, despite these abilities and their generalization performance, they still face limitations in environmental understanding, often failing on interactions or relying on environment metadata during execution. To address this challenge, we propose a novel framework named Environmental Understanding Embodied Agent (EUEA), which fine-tunes four core skills: 1) object perception for identifying relevant objects, 2) task planning for generating interaction subgoals, 3) action understanding for judging success likelihood, and 4) goal recognition for determining goal completion. By fine-tuning VLMs with EUEA skills, our framework enables more reliable task execution for instruction-following. We further introduce a recovery step that leverages these core skills and a group relative policy optimization (GRPO) stage that refines inconsistent skill predictions. The recovery step samples alternative actions to correct failure cases, and the GRPO stage refines inconsistent skill predictions. Across ALFRED tasks, our VLM significantly outperforms a behavior-cloning baseline, achieving an 8.86% improvement in average success rate. The recovery and GRPO stages provide an additional 3.03% gain, further enhancing overall performance. Finally, our skill-level analyses reveal key limitations in the environmental understanding of closed- and open-source VLMs and identify the capabilities necessary for effective agent-environment interaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI