日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.06001

訓練不要の注意再調整によるVLAモデルの言語基盤の回復

Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが視覚情報に偏り、指示と矛盾する動作を実行する「言語的盲目」現象を明らかにし、推論時に注意を再調整して指示の影響を回復する手法IGARを提案した。

詳しい要約

1. どんなもの?

- VLAモデルは自然言語指示からロボット操作を直接実行できるが、OOD指示下での信頼性は未解明。 - 本研究は、言語指示がシーンと矛盾しても視覚的に妥当な行動を続ける『linguistic blindness』を明らかにする。 - 診断ベンチマークICBenchをLIBEROから構築し、OOD矛盾指示を注入して言語-行動結合を評価。 - Pi0, Pi0.5, OpenVLA OFTで検証し、視覚バイアスを確認。 - 訓練不要の推論時機構IGARを提案し、言語指示の影響を回復。

2. 先行研究と比べてどこがすごい?

- 従来のVLA研究はOOD指示下の失敗モードを体系的に分析していなかった。 - 本研究はlinguistic blindnessという新たな失敗モードを特定し、ICBenchで定量化。 - 既存のVLAモデル(Pi0, Pi0.5, OpenVLA OFT)が論理的に不可能な指示でも成功することを示す。 - IGARは再訓練やアーキテクチャ変更なしで適用可能な点が先行手法と異なる。

3. 技術・手法の肝は?

- IGAR (Instruction-Guided Attention Recalibration) は訓練不要の推論時メカニズム。 - 注意分布を再バランスし、言語指示の影響を回復させる。 - 再訓練やアーキテクチャ修正を必要とせず、既存VLAモデルに直接適用可能。 - 具体的な再校正アルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- ICBenchを用いてPi0, Pi0.5, OpenVLA OFTを評価し、OOD矛盾指示下での失敗を確認。 - 30のLIBEROタスクでIGARを適用し、OOD矛盾指示下の誤実行を大幅に削減しつつ、ベースライン性能を維持。 - 実機Frankaロボットアームで検証し、矛盾指示による操作を防止。

5. 議論はある?

- linguistic blindnessの原因や限界についての議論は要旨からは不明。 - IGARの一般化可能性や他のVLAモデルへの適用性は要旨からは不明。 - 実環境での長期評価や安全性への影響は要旨からは不明。

6. 次に読むべき論文は?

- Pi0, Pi0.5, OpenVLA OFT (要旨で比較/評価されたVLAモデル) - LIBERO (ベンチマークデータセット) - ICBench (本研究で導入された診断ベンチマーク) - 関連手法: Vision-Language-Action (VLA) モデル全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ninghao Zhang, Bin Zhu, Shijie Zhou, Jingjing Chen

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models enable robots to perform manipulation tasks directly from natural language instructions and are increasingly viewed as a foundation for generalist robotic policies. However, their reliability under Out-of-Distribution (OOD) instructions remains underexplored. In this paper, we reveal a critical failure mode in which VLA policies continue executing visually plausible actions even when the language instruction contradicts the scene. We refer to this phenomenon as linguistic blindness, where VLA policies prioritize visual priors over instruction semantics during action generation. To systematically analyze this issue, we introduce ICBench, a diagnostic benchmark constructed from the LIBERO dataset that probes language-action coupling by injecting controlled OOD instruction contradictions while keeping the visual environment unchanged. Evaluations on three representative VLA architectures, including Pi0, Pi0.5 and OpenVLA OFT, show that these models frequently succeed at tasks despite logically impossible instructions, revealing a strong visual bias in action generation. To mitigate this issue, we propose Instruction-Guided Attention Recalibration (IGAR), a train-free inference-time mechanism that rebalances attention distributions to restore the influence of language instructions. IGAR operates without retraining or architectural modification and can be directly applied to existing VLA models. Experiments across 30 LIBERO tasks demonstrate that IGAR substantially reduces erroneous execution under OOD contradictory instructions while preserving baseline task performance. We additionally validate the approach on a real Franka robotic arm, where IGAR effectively prevents manipulation triggered by inconsistent instructions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI