日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/評価ベンチマークarXiv:2603.28301

LIBERO-Para: VLAモデルの言い換え頑健性を評価する診断ベンチマークと指標

LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが指示の言い換えに対して脆弱であることを示すベンチマークを構築し、失敗の主因が物体レベルの語彙変化による計画段階の軌道逸脱であることを明らかにした。また、言い換え難易度を定量化する指標PRIDEを提案した。

詳しい要約

1. どんなもの?

- VLAモデルのparaphrase robustnessを評価するLIBERO-Paraベンチマークを提案。 - 指示文の言い換えに対する性能劣化を測定。 - 7つのVLA構成(0.6B-7.5B)で評価。 - 22-52ppの性能低下を確認。 - 失敗の80-96%がplanning-levelのtrajectory divergence。 - 難易度を定量化するPRIDEメトリクスを提案。

2. 先行研究と比べてどこがすごい?

- 従来のVLA研究は限られたデータでfine-tuningされ、指示文の言い換えに対するrobustnessが未探索。 - LIBERO-Paraはaction expressionsとobject referencesを独立に変化させ、言語的一般化を細粒度で分析。 - 既存のbinary success rateはparaphraseの難易度を区別できないが、PRIDEはsemantic/syntactic要因で難易度を定量化。

3. 技術・手法の肝は?

- LIBERO-Paraはaction expressionsとobject referencesを独立に変化させる制御されたベンチマーク。 - 7つのVLA構成(0.6B-7.5B)で評価。 - PRIDEメトリクスはsemanticおよびsyntactic要因を用いてparaphrase difficultyを定量化。 - 失敗をplanning-levelとexecution-levelに分類。

4. どうやって有効だと検証した?

- 7つのVLA構成(0.6B-7.5B)でLIBERO-Paraを評価。 - 22-52ppの性能低下を観測。 - 失敗の80-96%がplanning-level trajectory divergenceであることを確認。 - object-level lexical variationが主な原因であることを特定。

5. 議論はある?

- 性能低下はobject-level lexical variationが主因で、surface-level matchingへの依存を示唆。 - 失敗の大部分がplanning-levelのtrajectory divergenceであり、paraphrasingがtask identificationを妨げる。 - binary success rateはparaphraseの難易度を区別できず、モデルの一貫性や易しいケースへの依存を隠蔽する。 - PRIDEメトリクスで難易度を定量化する必要性を議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、VLAモデル(例: RT-2, OpenVLA)やrobustness評価ベンチマーク(例: LIBERO)が関連。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chanyoung Kim, Minwoo Kim, Minseok Kang, Hyunwoo Kim, Dahuin Jung

分類: cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models achieve strong performance in robotic manipulation by leveraging pre-trained vision-language backbones. However, in downstream robotic settings, they are typically fine-tuned with limited data, leading to overfitting to specific instruction formulations and leaving robustness to paraphrased instructions underexplored. To study this gap, we introduce LIBERO-Para, a controlled benchmark that independently varies action expressions and object references for fine-grained analysis of linguistic generalization. Across seven VLA configurations (0.6B-7.5B), we observe consistent performance degradation of 22-52 pp under paraphrasing. This degradation is primarily driven by object-level lexical variation: even simple synonym substitutions cause large drops, indicating reliance on surface-level matching rather than semantic grounding. Moreover, 80-96% of failures arise from planning-level trajectory divergence rather than execution errors, showing that paraphrasing disrupts task identification. Binary success rate treats all paraphrases equally, obscuring whether models perform consistently across difficulty levels or rely on easier cases. To address this, we propose PRIDE, a metric that quantifies paraphrase difficulty using semantic and syntactic factors. Our benchmark and corresponding code are available at: https://github.com/cau-hai-lab/LIBERO-Para

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI