日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA評価arXiv:2606.19297

VLAは基本を知っているか?視覚言語行動モデルにおける常識・世界知識の保持を測る

Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルがロボットデータで微調整後も常識や世界知識を保持しているかを、行動で回答する新しい評価プロトコルAct2Answerを導入して検証した。

詳しい要約

1. どんなもの?

- 本論文は、Embodied Vision-Language-Action (VLA) モデルが、微調整後にどの程度 commonsense や world knowledge を保持しているかを測定する手法を提案する。 - 提案する Act2Answer は、VLM の知識ベンチマークを VLA 評価に適応させる軽量プロトコルである。 - 各質問を短い tabletop episode に変換し、エージェントが単一の object-placement action で候補回答を選択する。 - これにより、低レベル制御の一般化の悪さと知識欠如の混同を減らした action-grounded success rate を得る。 - 多様な commonsense と world knowledge カテゴリのテストスイートを構築し、layerwise intent probing も導入する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 評価では、知識を要するタスクでの失敗が、知識の欠如によるものか低レベル制御の一般化不良によるものか曖昧であった。 - Act2Answer は、エージェントに action を通じて回答させることで、制御の交絡を減らした知識評価を可能にする。 - 7 つの VLA モデルと 9 つの VLM ベースラインを大規模に比較し、カテゴリ別に系統的に順位付けした点が新しい。 - 元の VLM と比較して、VLA は単純な概念では堅調だが、より豊かな意味カテゴリで大きなギャップを示すことを見出した。 - VQA co-training が知識保持の改善と関連すること、および answer-relevant 信号が VLA の中間層でピークになり上層で減衰することを示した。

3. 技術・手法の肝は?

- Act2Answer は、VLM 知識ベンチマークの各質問を短い tabletop episode に変換する。 - エージェントは単一の object-placement action を実行し、候補回答の中から選択する。 - 評価指標は action-grounded success rate であり、制御の交絡を低減する。 - 多様な commonsense と world knowledge カテゴリを網羅するテストスイートをキュレーションする。 - layerwise intent probing を導入し、VLM backbone と action head をまたいで answer-relevant 情報を局在化する。

4. どうやって有効だと検証した?

- 7 つの VLA モデルと 9 つの VLM ベースラインを対象とした大規模研究を実施した。 - カテゴリ別にモデルを系統的に順位付けした。 - VLA は単純な概念では堅調だが、より豊かな意味カテゴリでは元の VLM と比べて大きなギャップを示すことを確認した。 - VQA co-training が知識保持の改善と関連することを見出した。 - answer-relevant 信号が VLA の中間層でピークになり、上層で減衰することを layerwise intent probing で示した。

5. 議論はある?

- VLA は単純な概念では良好に機能するが、豊かな意味カテゴリでは元の VLM と比べて知識保持にギャップがある。 - VQA co-training が知識保持の改善と関連することが示唆される。 - answer-relevant 信号が中間層でピークになり上層で減衰するという層別の傾向が議論されている。 - 知識を要するタスクでの失敗が、知識欠如と低レベル制御の一般化不良のどちらに起因するかという曖昧さを減らす評価プロトコルの意義が議論されている。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、Embodied Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM)、VQA co-training が挙げられる。 - 具体的な論文名は要旨からは不明。 - 同分野の定番として、VLA の代表的手法(例: RT-2, OpenVLA など)や VLM 知識ベンチマーク(例: VQA, OK-VQA など)を次に読む候補として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro

分類: cs.LG, cs.RO

原文アブストラクト

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI