日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.16292

何をする?不可能な指示を拒否するよう視覚-言語-行動モデルを教える

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが環境に存在しない物体を参照する偽前提の指示を検出し、言語で確認・訂正して代替案を実行するInstruct-Verify-and-Actフレームワークを提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルが、環境に存在しない物体や条件を参照する false-premise 命令をどう認識・解釈・応答するかを調査する研究 - Instruct-Verify-and-Act (IVA) という統合フレームワークを提案 - 命令が false premise により実行不能であることを検出 - 言語による clarification や correction を行う - 妥当な代替案を perception と action に grounding する - 正確な要求と誤った要求の両方を扱える VLA モデルを訓練する大規模 instruction tuning 設定を構築

2. 先行研究と比べてどこがすごい?

- 従来の VLA はロボットタスク性能に注目し、言語命令を主に action 予測の入力として扱ってきた - 本研究は実行不能な false-premise 命令への頑健な意図解釈・応答という観点を前面に出す - 実験では false premise detection accuracy が baselines 比で 97.56% 向上 - false-premise シナリオでの successful responses が 50.78% 増加 - 単なる action 予測ではなく、検出・clarification・代替 grounding を統合した点が差分

3. 技術・手法の肝は?

- Instruct-Verify-and-Act (IVA) と呼ぶ統合フレームワーク - false premise による実行不能性の検出 - 言語ベースの clarification または correction - 知覚・行動への妥当な代替案の grounding - 構造化された language prompts を用いた大規模 instruction tuning 設定 - contextually augmented な semi-synthetic dataset を構築 - 正しい命令と false-premise 命令を対にして含む - 頑健な検出と言語による correction を可能にする - 正確な要求と誤った要求の双方を扱えるよう VLA モデルを訓練

4. どうやって有効だと検証した?

- 構築した semi-synthetic dataset と instruction tuning 設定を用いて実験 - 評価指標として false premise detection accuracy と false-premise シナリオでの successful responses を報告 - 結果として detection accuracy は baselines 比 97.56% 向上 - successful responses は 50.78% 増加 - 具体的なベースライン名やタスク詳細は要旨からは不明

5. 議論はある?

- false-premise 命令への応答を検出・clarification・代替 grounding の三段階で扱う設計上の議論があり得る - semi-synthetic データへの依存や実環境への一般化については要旨からは不明 - clarification の質や correction の自然さに関する評価は要旨からは不明 - ベースラインとの比較条件や失敗事例の分析は要旨からは不明

6. 次に読むべき論文は?

- Vision-Language-Action (VLA) モデルの代表的先行研究 - instruction tuning を用いたロボット向け vision-language モデル - false premise や impossible instruction を扱う language grounding 研究 - clarification や correction を行う対話型ロボット指示理解研究 - 要旨で参照・比較されている個別研究は明示されていないため、上記は同分野の一般名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

分類: cs.AI, cs.RO

原文アブストラクト

Recently, Vision-Language-Action (VLA) models have demonstrated strong performance on a range of robotic tasks. These models rely on multimodal inputs, with language instructions playing a crucial role -- not only in predicting actions, but also in robustly interpreting user intent, even when the requests are impossible to fulfill. In this work, we investigate how VLAs can recognize, interpret, and respond to false-premise instructions: natural language commands that reference objects or conditions absent from the environment. We propose Instruct-Verify-and-Act (IVA), a unified framework that (i) detects when an instruction cannot be executed due to a false premise, (ii) engages in language-based clarification or correction, and (iii) grounds plausible alternatives in perception and action. Towards this end, we construct a large-scale instruction tuning setup with structured language prompts and train a VLA model capable of handling both accurate and erroneous requests. Our approach leverages a contextually augmented, semi-synthetic dataset containing paired positive and false-premise instructions, enabling robust detection and natural language correction. Our experiments show that IVA improves false premise detection accuracy by 97.56% over baselines, while increasing successful responses in false-premise scenarios by 50.78%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI