日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.05049

VISTA: 視覚条件付けを強化する追従選好最適化によるVLAモデル

VISTA: Enhancing Visual Conditioning via Track-Following Preference Optimization in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが視覚状態に弱く依存してしまう問題に対し、追従タスクでの選好最適化と潜在蒸留で視覚条件付けを強化し、タスク性能を向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける vision-action misalignment を扱う研究。 - 成功した rollout は失敗したものより視覚依存が強いという経験的観察に基づく。 - 視覚条件付け (visual conditioning) を明示的に強化する訓練フレームワーク VISTA を提案。 - アーキテクチャ変更や追加データ収集なしで、discrete OpenVLA と continuous OpenVLA-OFT の両方で改善。

2. 先行研究と比べてどこがすごい?

- 大規模 pretrained Vision-Language Models (VLMs) を action space に拡張すると vision-action misalignment が生じ、action 予測が現在の視覚状態に弱く依存する問題を指摘。 - 従来の VLA 訓練ではこの視覚依存の弱さを明示的に扱っていない点が課題。 - 提案法はアーキテクチャ変更や追加データ収集を必要とせず、visual conditioning とタスク性能を同時に改善する点が新しい。

3. 技術・手法の肝は?

- まず track-following surrogate task 上で preference optimization を行い、action 予測を視覚入力に整合させる。 - 次に supervised finetuning 中の latent-space distillation により、強化された整合性を instruction-following task へ転移。 - これにより視覚条件付けを明示的に強化する訓練フレームワークを構成。

4. どうやって有効だと検証した?

- 成功した rollout が失敗したものより視覚依存が強いことを経験的に示す。 - discrete OpenVLA で visual conditioning とタスク性能の両方が改善。 - continuous OpenVLA-OFT 設定へ拡張しても一貫した利得が得られることを確認。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、他の VLA モデルへの一般化可能性についての議論は要旨に記載なし。

6. 次に読むべき論文は?

- OpenVLA - OpenVLA-OFT - Vision-Language-Action (VLA) モデル - Vision-Language Models (VLMs) - preference optimization - latent-space distillation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiye Chen, Yanan Jian, Xiaoyi Dong, Shuxin Cao, Jing Wu, Patricio Vela, Benjamin E. Lundell, Dongdong Chen

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have demonstrated strong performance across a wide range of robotic manipulation tasks. Despite the success, extending large pretrained Vision-Language Models (VLMs) to the action space can induce vision-action misalignment, where action predictions exhibit weak dependence on the current visual state, leading to unreliable action outputs. In this work, we study VLA models through the lens of visual conditioning and empirically show that successful rollouts consistently exhibit stronger visual dependence than failed ones. Motivated by this observation, we propose a training framework that explicitly strengthens visual conditioning in VLA models. Our approach first aligns action prediction with visual input via preference optimization on a track-following surrogate task, and then transfers the enhanced alignment to instruction-following task through latent-space distillation during supervised finetuning. Without introducing architectural modifications or additional data collection, our method improves both visual conditioning and task performance for discrete OpenVLA, and further yields consistent gains when extended to the continuous OpenVLA-OFT setting. Project website: https://vista-vla.github.io/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI