日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/RLファインチューニングarXiv:2605.13105

何を無視し、何に反応するか:VLAモデルの視覚的に頑健なRLファインチューニング

What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのRLファインチューニングにおいて、視覚変化がタスクに無関係か挙動変更を要するかを区別する補助目的を追加し、視覚的頑健性を向上させるPAIR-VLAを提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルのロボットマニピュレーションにおける強化学習 (RL) ファインチューニング手法。 - 実環境での視覚的変化 (visual shift) に対処するため、PAIR-VLA (Paired Action Invariance & Sensitivity for Visually Robust VLA) を提案。 - PPO 最適化中に、ペアになった視覚変種に対する2つの補助目的を追加。 - タスク不変ペア (例: 異なる妨害物体) の行動分布の不一致を減らす不変性項と、タスク変更ペア (例: 異なる姿勢の対象物) の行動分布を分離可能にする感度項から成る。 - これにより視覚変種を単なる観察多様性から行動レベルのガイダンスに変換。

2. 先行研究と比べてどこがすごい?

- 標準的な RL ファインチューニングはタスク報酬のみで、視覚変化がタスク無関係か行動変更を要するかを区別できない。 - 提案手法は視覚変種をペアで用い、不変性と感度の両方を行動分布レベルで指導する点が新しい。 - 標準 PPO と比較して、ManiSkill3 上で OpenVLA と π0.5 の両アーキテクチャで一貫した改善を達成。 - 平均改善率は π0.5 で 16.62%、OpenVLA で 9.10%。 - アブレーションにより、不変性ガイダンスが妨害物体やテクスチャ変種から対象姿勢や照明変化へ転移することを示し、行動レベル RL ガイダンスの広い転移性を強調。

3. 技術・手法の肝は?

- PPO 最適化中に、ペアになった視覚変種に対する2つの補助目的を追加。 - 不変性項: タスク保存ペア (例: 異なる妨害物体) の行動分布間の不一致を低減。 - 感度項: タスク変更ペア (例: 異なる姿勢の対象物) の行動分布を分離可能にするよう促す。 - これらを組み合わせ、視覚変種を行動レベルのガイダンスに変換。 - 具体的な損失関数やハイパーパラメータは要旨からは不明。

4. どうやって有効だと検証した?

- ManiSkill3 上で2つの代表的な VLA アーキテクチャ (OpenVLA, π0.5) を評価。 - 多様な分布外視覚変化 (未見の妨害物体、テクスチャ変化、対象物姿勢変動、視点変化、照明変化) を含む。 - 標準 PPO と比較し、平均改善率 π0.5 で 16.62%、OpenVLA で 9.10% を達成。 - アブレーションにより、妨害物体とテクスチャ変種から学習した不変性ガイダンスが対象姿勢や照明変化に転移することを確認。 - 対象姿勢変種に感度ガイダンスを追加すると、 nuisance shift へのロバスト性がさらに向上。

5. 議論はある?

- 行動レベル RL ガイダンスの広い転移性を強調。 - 不変性ガイダンスが異なる視覚変化間で転移することを示す。 - 感度ガイダンスの追加が nuisance shift へのロバスト性を改善。 - 限界や今後の課題、計算コスト、他のタスクへの適用性などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 標準 PPO、OpenVLA、π0.5、ManiSkill3。 - 関連手法: Vision-Language-Action (VLA) モデル、強化学習ファインチューニング、PPO。 - 同分野の定番: ロボットマニピュレーションにおける視覚ロバスト性、ドメインランダム化、不変表現学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanfang Peng, Jingjing Fu, Chuheng Zhang, Li Zhao, Jiang Bian, Mingyu Liu, Ling Zhang, Jun Zhang, Rui Wang

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) fine-tuning has shown promise for Vision-Language-Action (VLA) models in robotic manipulation, but deployment-time visual shifts pose practical challenges. A key difficulty is that standard task rewards supervise task success, but offer limited guidance on whether a visual change is task-irrelevant or changes the behavior required for manipulation. We propose PAIR-VLA (Paired Action Invariance & Sensitivity for Visually Robust VLA), an RL fine-tuning framework to address this difficulty by adding two auxiliary objectives over paired visual variants during PPO optimization: an invariance term that reduces the discrepancy between action distributions for a task-preserving pair (e.g., different distractors), and a sensitivity objective that encourages separable action distributions for a task-altering pair (e.g., target object in a different pose). Together, these objectives turn visual variants from mere observation diversity into behavior-level guidance on policy responses during RL fine-tuning. We evaluate on ManiSkill3 across two representative VLA architectures, OpenVLA and $\pi_{0.5}$, under diverse out-of-distribution visual shifts including unseen distractors, texture changes, target object pose variation, viewpoint shifts, and lighting changes. Our method consistently improves over standard PPO, achieving average improvements of 16.62% on $\pi_{0.5}$ and 9.10% on OpenVLA. Notably, ablations further show generalization across visual shifts: invariance guidance learned from distractor and texture variants transfers to target-pose and lighting shifts, while adding sensitivity guidance on target-pose variants further improves robustness to nuisance shifts, highlighting the broader transferability of behavior-level RL guidance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI