日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.19438

言い換え合意は自己一貫性ではない:VLAポリシーにおける指示依存性と頑健性

Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

シェア:XThreadsFacebookLINEはてブBluesky

LIBEROで微調整したVLAポリシーは指示文の言い換えに弱く、テスト時のプロンプトアンサンブルでは回復しないことを示し、言い換え指示でのLoRA追加学習が頑健性を改善することを明らかにした。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) ポリシーが指示文の言い換え(paraphrase)に対してどれだけ脆弱かを分析した研究。LIBERO で fine-tune された OpenVLA を中心に、同一意味の言い換えで成功率が -38.0 ポイント低下することを示す。さらに test-time prompt ensembling や paraphrase consensus(K 個の言い換えに対する medoid action)がこの損失を回復できないことを報告。指示依存度を測る wrong-instruction probe を提案し、LoRA post-training で言い換え指示に適応させると one-paraphrase 効果が +2.0 ポイントまで改善することを示す。

2. 先行研究と比べてどこがすごい?

- 従来、VLA ポリシーは LIBERO などで同一の指示文字列で訓練・評価されており、言い換えへの頑健性はほとんど検証されていなかった。 - 言語モデルで有効な test-time prompt ensembling が VLA では損失を回復しないことを示した点が新しい。 - paraphrase consensus や confidence-based selection といった集約手法が、共有バイアスを除去できずに失敗することを定量的に示した。 - wrong-instruction probe により、指示依存度が高いポリシーほど言い換えに弱いという関係を明らかにした。 - LoRA post-training が言い換え頑健性を大幅に改善し、かつ指示依存度を変えないことを示した。

3. 技術・手法の肝は?

- LIBERO で fine-tune した OpenVLA をベースに、訓練指示と同じ意味の言い換えを複数用意して成功率を比較。 - test-time prompt ensembling、paraphrase consensus(K 個の言い換えに対する medoid action)、confidence-based selection を評価。 - 単一言い換えのサンプルに対する medoid も比較し、分散低減とバイアス除去の違いを分析。 - wrong-instruction probe を導入し、誤った指示を与えたときの成功率低下から指示依存度を定量化。 - LoRA post-training を言い換え指示で行い、one-paraphrase 効果を測定。2 シードおよび OpenVLA-OFT で再現性を確認。

4. どうやって有効だと検証した?

- LIBERO 上の OpenVLA で、言い換えによる成功率低下(-38.0 ポイント)を測定。 - paraphrase consensus が訓練指示を含む場合 -16.8 ポイント、含まない場合 -32.4 ポイント、confidence-based selection が -28.0 ポイントとなることを確認。 - 単一言い換えの medoid が greedy decoding より改善するが訓練指示より -27.6 ポイント低いことを示す。 - 3 つのポリシーと 4 つのスイートで wrong-instruction probe を実施し、指示依存度が高いほど言い換え損失が大きいことを確認。 - LoRA post-training で one-paraphrase 効果が +2.0 ポイント(対照群 -32.0)に改善し、2 シード、OpenVLA-OFT、未見の言い換えでも再現。

5. 議論はある?

- 言い換えへの脆弱性は、ポリシーが指示に依存している度合いと関連するが、強いポリシーほど損失割合は小さい。 - test-time prompt ensembling や medoid 集約は、言い換え間で共有されるバイアスを除去できないため、根本的な解決にならない。 - LoRA post-training は言い換え頑健性を改善するが、指示依存度自体は変わらない。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA(base および OpenVLA-OFT) - LIBERO ベンチマーク - test-time prompt ensembling - paraphrase consensus / medoid action - confidence-based selection - LoRA post-training - wrong-instruction probe - Vision-Language-Action (VLA) ポリシー全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanlong Li, Sihan Tan, Takeshi Ashizawa, Benjamin Yen, Kazuhiro Nakadai

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies fine-tuned on LIBERO are trained and evaluated on the same ten instruction strings, and rewording the instruction changes base OpenVLA's success by -38.0 points. Test-time prompt ensembling, which improves language models, does not recover this loss in any setting we ran. Paraphrase consensus (the medoid action over K paraphrases) costs base OpenVLA 16.8 points when the training instruction is a member. Without it, the medoid of the paraphrases scores -32.4 points relative to the training instruction, and confidence-based selection scores -28.0. The same medoid over samples of one paraphrase improves on greedy decoding but stays -27.6 points below the training instruction, consistent with aggregation reducing variance without removing the bias the paraphrases share. A wrong-instruction probe measures how much of a policy's success depends on the instruction. Across three policies and four suites, paraphrases cost a policy only where this share is high, and the stronger policies lose a much smaller fraction of it than base OpenVLA. LoRA post-training on paraphrased instructions reduces the one-paraphrase effect to +2.0 points, against -32.0 for a matched control, reproduces across two seeds and on OpenVLA-OFT, transfers to withheld phrasings, and leaves the policy's reliance on the instruction unchanged.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI