日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.20544

「イエスマン症候群」:身体化ロボットエージェントにおける棄権のベンチマーキング

The Yes-Man Syndrome: Benchmarking Abstention in Embodied Robotic Agents

シェア:XThreadsFacebookLINEはてブBluesky

身体化ロボットのための視覚言語モデルが、曖昧・物理的に不可能・誤った前提に基づく指示を認識して棄権する能力を評価するベンチマーク「RoboAbstention」を提案した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)を高レベルプランナとして用いるembodied agentのabstention(判断保留)を評価するベンチマーク研究。 - 従来のabstention研究はtext-onlyで、embodied robotics特有の知覚的groundingや物理的制約を捉えていない。 - embodied設定でのabstentionを分類するtaxonomyを導入。 - 5つのroboticsデータセットの画像に基づきabstention指示を生成するRoboAbstentionを提案。 - 6,069件のベンチマーク指示で複数のfrontier VLMを評価。

2. 先行研究と比べてどこがすごい?

- 先行研究のabstentionベンチマークは主にtext-onlyで、embodied環境の知覚的groundingと物理的制約を扱えない。 - 本研究はembodied roboticsに特化したtaxonomyを導入し、画像にgroundedしたabstention条件を生成。 - scalableかつauditableなフレームワークで、検証可能なabstention条件を持つ多様なデータセットを構築。 - 指示が曖昧・物理的に不可能・誤った前提・感覚モダリティと文脈で解決不能な場合のabstentionを対象化。

3. 技術・手法の肝は?

- 3段階パイプラインでtaxonomyを実装。 - (1) structured visual grounding - (2) deterministic constraint derivation - (3) category-specific templatesによるcontrolled instruction generation - これにより検証可能なabstention条件を持つ多様なデータセットを構築。 - 5つのroboticsデータセットから収集した画像に基づく。 - 改善手法としてdefensive promptingとin-context learningを検討。

4. どうやって有効だと検証した?

- 複数のfrontier VLMを6,069件のベンチマーク指示で評価。 - 全モデルがabstentionに大きな弱点を示す。 - 最高性能のGemini 2.5 Flashでもabstention率は39.0%。 - embodied plannerのGemini Robotics ER 1.6 Previewは16.5%のみ。 - defensive promptingとin-context learningで性能が大幅改善し、Gemini Robotics ER 1.6 Previewは93.6%、GPT 5.4 Miniは88.6%に到達。 - しかし完全に問題を解決する手法はない。

5. 議論はある?

- 高度な推論能力を持つモデルを含め、全モデルがabstentionに著しい弱点を示す。 - defensive promptingやin-context learningは大幅改善するが、完全解決には至らない。 - embodied設定でのabstentionの難しさが示唆される。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 先行のLLM abstention研究(text-only benchmarks)。 - 評価対象モデル: Gemini 2.5 Flash, Gemini Robotics ER 1.6 Preview, GPT 5.4 Mini。 - 関連手法: defensive prompting, in-context learning。 - 同分野の定番: vision-language models (VLMs) as high-level planners for embodied agents。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Doguhan Yeke, Elif Su Temirel, Ananth Shreekumar, Brandon Lee, Dongyan Xu, Z Berkay Celik

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language models (VLMs) are used as high-level planners for embodied agents, translating natural language instructions and visual observations into action plans. While prior work has studied abstention in LLMs, existing benchmarks are largely text-only and do not capture the perceptual grounding and physical constraints inherent to embodied robotics environments. In such settings, abstention requires recognizing when instructions are ambiguous, physically infeasible, based on false premises, or otherwise unresolvable given the available sensory modalities and context. To address this gap, we introduce a taxonomy to categorize abstention in the context of embodied robotics and present RoboAbstention, a scalable and auditable framework for generating abstention instructions grounded in images gathered from five robotics datasets. RoboAbstention instantiates the taxonomy through a three-phase pipeline: (1) structured visual grounding, (2) deterministic constraint derivation, and (3) controlled instruction generation via category-specific templates. This enables the construction of a diverse dataset with verifiable abstention conditions. We evaluate several frontier VLMs and find that all models exhibit significant weaknesses in abstention, including those with advanced reasoning capabilities. The best-performing model, Gemini 2.5 Flash, abstains on only 39.0% of our 6,069 benchmark instructions, while the embodied planner Gemini Robotics ER 1.6 Preview abstains on just 16.5%. We further explore methods for improving abstention in VLM planners, such as defensive prompting and in-context learning, and find that these interventions substantially improve performance, reaching 93.6% abstention rate for Gemini Robotics ER 1.6 Preview and 88.6% for GPT 5.4 Mini, yet no approach fully solves the problem. We open-source RoboAbstention at https://purseclab.github.io/RoboAbstention/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI