日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.07067

リンゴを持ってきて、ソファは要らない:VLAモデルにおける身体性AIコマンドの無関係な文脈の影響

Bring the Apple, Not the Sofa: Impact of Irrelevant Context in Embodied AI Commands on VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが言い換えや無関係な文脈を含む指示に対してどれだけ頑健かを体系的に評価し、意味的・語彙的に類似した文脈で性能が約50%低下することを示した。LLMベースのフィルタリングで元の性能の最大98.5%を回復する手法を提案。

詳しい要約

1. どんなもの?

- Vision Language Action (VLA) モデルの言語摂動に対する頑健性を体系的に調べた研究 - 対象は Embodied AI におけるロボット命令 - 2種類の instruction noise を評価 - human-generated paraphrasing - irrelevant context の付加 - irrelevant context を長さ・意味的/語彙的近接性で分類 - 性能劣化の傾向を定量化し、LLM-based filtering framework を提案

2. 先行研究と比べてどこがすごい?

- 実世界の自然言語変動に対する VLA モデルの頑健性は十分に調査されていなかった - 本研究はこれを体系的に評価した点が新規 - 単なるランダムな context だけでなく、意味的・語彙的に近い context を区別して評価 - 近接 context では約50%の品質低下を観測 - 劣化を緩和する LLM-based filtering framework を提案し、元性能の最大98.5%を回復

3. 技術・手法の肝は?

- 最先端 VLA モデルに対し2種類の言語摂動を付与して評価 - human-generated paraphrasing - irrelevant context の追加 - irrelevant context を長さと、命令との意味的・語彙的近接性で分類 - ノイズ入力から core commands を抽出する LLM-based filtering framework を提案 - フィルタリングによりノイズ下の性能を回復

4. どうやって有効だと検証した?

- 最先端 VLA モデルを対象に、paraphrasing と irrelevant context 下での性能を測定 - context サイズ拡大に伴う一貫した性能劣化を観測 - ランダム context では相対的に頑健で性能低下は10%以内 - 同長の意味的・語彙的近接 context では約50%の品質低下 - human paraphrases では約20%の低下 - 提案フィルタリングによりノイズ下で最大98.5%の性能回復を確認

5. 議論はある?

- context の長さが増すほど性能が一貫して劣化 - ランダム context には相対的に頑健だが、意味的・語彙的に近い context は大きく性能を損なう - 単なるノイズ量ではなく意味的近接性が重要である可能性 - human paraphrasing でも約20%の低下があり、自然言語変動への脆弱性が示唆される - 具体的なモデル名・タスク・限界については要旨からは不明

6. 次に読むべき論文は?

- 本研究で評価対象となった state-of-the-art VLA モデル(具体名は要旨からは不明) - LLM-based filtering framework の関連研究 - human-generated paraphrasing を用いた言語摂動の関連研究 - Embodied AI における instruction following の頑健性評価研究 - Vision Language Action モデル全般の関連論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daria Pugacheva, Andrey Moskalenko, Denis Shepelev, Andrey Kuznetsov, Vlad Shakhuro, Elena Tutubalina

分類: cs.RO

原文アブストラクト

Vision Language Action (VLA) models are widely used in Embodied AI, enabling robots to interpret and execute language instructions. However, their robustness to natural language variability in real-world scenarios has not been thoroughly investigated. In this work, we present a novel systematic study of the robustness of state-of-the-art VLA models under linguistic perturbations. Specifically, we evaluate model performance under two types of instruction noise: (1) human-generated paraphrasing and (2) the addition of irrelevant context. We further categorize irrelevant contexts into two groups according to their length and their semantic and lexical proximity to robot commands. In this study, we observe consistent performance degradation as context size expands. We also demonstrate that the model can exhibit relative robustness to random context, with a performance drop within 10%, while semantically and lexically similar context of the same length can trigger a quality decline of around 50%. Human paraphrases of instructions lead to a drop of nearly 20%. To mitigate this, we propose an LLM-based filtering framework that extracts core commands from noisy inputs. Incorporating our filtering step allows models to recover up to 98.5% of their original performance under noisy conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI