日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.21230

世界認識型プランニング物語による大規模視覚言語モデルプランナーの強化

World-aware Planning Narratives Enhance Large Vision-Language Model Planner

シェア:XThreadsFacebookLINEはてブBluesky

環境理解を4つの認知能力でLVLMに注入し、生の視覚観察のみで訓練するWAPを提案。EB-ALFREDで成功率が大幅に向上し、GPT-4oやClaude-3.5-Sonnetを凌駕した。

詳しい要約

1. どんなもの?

- 本論文は、embodied planning タスクにおける Large Vision-Language Models (LVLMs) の性能向上を目的とした World-Aware Planning Narrative Enhancement (WAP) というフレームワークを提案する。 - 複雑な環境や多段階ゴールにおいて、LVLMs が環境非依存の imitation learning により文脈依存の指示や長期的相互作用で苦戦する問題に対処する。 - 4つの認知能力(visual appearance modeling, spatial reasoning, functional abstraction, syntactic grounding)を通じて環境理解を注入し、raw visual observations のみで curriculum learning を用いてモデルを開発・評価する。

2. 先行研究と比べてどこがすごい?

- 先行研究は環境非依存の imitation learning に依存し、指示と環境文脈を切り離していたため、文脈依存指示や長期的相互作用で視覚推論ではなく補助的手がかりに頼る傾向があった。 - WAP は環境理解を4つの認知能力で強化し、raw visual observations のみで curriculum learning を行う点が異なる。 - EB-ALFRED benchmark で Qwen2.5-VL が task success rate で 60.7 絶対改善、commonsense reasoning で +60.0、long-horizon planning で +70.0 を達成し、GPT-4o や Claude-3.5-Sonnet などの proprietary systems を大きく上回った。

3. 技術・手法の肝は?

- WAP は LVLMs に包括的な環境理解を注入するフレームワークで、visual appearance modeling, spatial reasoning, functional abstraction, syntactic grounding の4つの認知能力を活用する。 - モデルの開発と評価は raw visual observations のみを用い、curriculum learning を通じて行う。 - 環境非依存の imitation learning ではなく、指示と環境文脈を結びつける点が肝である。

4. どうやって有効だと検証した?

- EB-ALFRED benchmark 上で評価を実施した。 - Qwen2.5-VL において task success rate が 60.7 絶対改善し、commonsense reasoning で +60.0、long-horizon planning で +70.0 の向上を確認した。 - 強化された open-source models が GPT-4o や Claude-3.5-Sonnet などの proprietary systems を大きな差で上回ることを示した。

5. 議論はある?

- 要旨からは不明。 - ただし、LVLMs が複雑な環境や多段階ゴールで苦戦する現状課題と、環境非依存の imitation learning の限界が背景として述べられている。 - WAP の4つの認知能力や curriculum learning の詳細な限界・議論については要旨に記載がない。

6. 次に読むべき論文は?

- EB-ALFRED benchmark に関する論文。 - Qwen2.5-VL のベースモデル論文。 - GPT-4o や Claude-3.5-Sonnet などの proprietary LVLMs の評価論文。 - embodied planning における imitation learning や curriculum learning 関連の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhao Shi, Zhaoye Fei, Siyin Wang, Qipeng Guo, Jingjing Gong, Xipeng Qiu

分類: cs.AI, cs.RO

原文アブストラクト

Large Vision-Language Models (LVLMs) show promise for embodied planning tasks but struggle with complex scenarios involving unfamiliar environments and multi-step goals. Current approaches rely on environment-agnostic imitation learning that disconnects instructions from environmental contexts, causing models to struggle with context-sensitive instructions and rely on supplementary cues rather than visual reasoning during long-horizon interactions. In this work, we propose World-Aware Planning Narrative Enhancement (WAP), a framework that infuses LVLMs with comprehensive environmental understanding through four cognitive capabilities (visual appearance modeling, spatial reasoning, functional abstraction, and syntactic grounding) while developing and evaluating models using only raw visual observations through curriculum learning. Evaluations on the EB-ALFRED benchmark demonstrate substantial improvements, with Qwen2.5-VL achieving a 60.7 absolute improvement in task success rates, particularly in commonsense reasoning (+60.0) and long-horizon planning (+70.0). Notably, our enhanced open-source models outperform proprietary systems like GPT-4o and Claude-3.5-Sonnet by a large margin.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI