日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.12510

品質多様性プロンプト生成によるVLAモデルのレッドチーミング:ロバストなロボットポリシーのために

Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの指示文の言い回しに対する脆弱性を、品質多様性最適化を用いて多様で自然な失敗誘発指示を自動生成し、特定・改善する手法を提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを対象とした red-teaming 手法 Q-DIG を提案。 - Q-DIG は Quality Diversity (QD) 最適化と Vision-Language Models (VLMs) を統合し、多様で自然な言語指示を生成して VLA の失敗を引き起こす。 - 生成された指示はタスクに関連しつつ、VLA の脆弱性を露呈させる。 - シミュレーションベンチマークと実世界評価で有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の red-teaming 手法と比較して、Q-DIG はより多様で意味のある失敗モードを発見。 - ベースラインよりも自然で人間らしいプロンプトを生成するとユーザスタディで評価された。 - 生成された指示で VLA を fine-tuning するとタスク成功率が向上。

3. 技術・手法の肝は?

- Quality Diversity (QD) 最適化を red-teaming に適用。 - QD 技術と Vision-Language Models (VLMs) を統合し、多様な adversarial instructions を生成。 - 生成される指示はタスクに関連しつつ、VLA の失敗を誘発するように設計。

4. どうやって有効だと検証した?

- 複数のシミュレーションベンチマークで評価。 - ベースラインと比較して多様で意味のある失敗モードを発見できることを確認。 - 生成指示で VLA を fine-tuning するとタスク成功率が向上。 - ユーザスタディでプロンプトの自然さを評価。 - 実世界評価でもシミュレーションと一致する結果を得て、fine-tuning により未見指示での成功率が向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として Vision-Language-Action (VLA) モデル、Quality Diversity (QD) 最適化、Vision-Language Models (VLMs) に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siddharth Srikanth, Freddie Liang, Ya-Chuan Hsu, Varun Bhatt, Shihan Zhao, Henry Chen, Bryon Tjanaka, Minjune Hwang, Akanksha Saran, Daniel Seita, Aaquib Tabrez, Stefanos Nikolaidis

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Vision-Language-Action (VLA) models have significant potential to enable general-purpose robotic systems for a range of vision-language tasks. However, the performance of VLA-based robots is highly sensitive to the precise wording of language instructions, and it remains difficult to predict when such robots will fail. We propose Quality Diversity (QD) optimization as a natural framework for red-teaming embodied models, and present Q-DIG (Quality Diversity for Diverse Instruction Generation), which performs red-teaming by scalably identifying diverse, natural language task descriptions that induce failures while remaining task-relevant. Q-DIG integrates QD techniques with Vision-Language Models (VLMs) to generate a broad spectrum of adversarial instructions that expose meaningful vulnerabilities in VLA behavior. Our results across multiple simulation benchmarks show that Q-DIG finds more diverse and meaningful failure modes compared to baseline methods, and that fine-tuning VLAs on the generated instructions improves task success rates. Furthermore, results from a user study highlight that Q-DIG generates prompts judged to be more natural and human-like than those from baselines. Finally, real-world evaluations of Q-DIG prompts show results consistent with simulation, and fine-tuning VLAs on the generated prompts further success rates on unseen instructions. Together, these findings suggest that Q-DIG is a promising approach for identifying vulnerabilities and improving the robustness of VLA-based robots. Our anonymous project website is at qdigvla.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI