日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.18960

AVA-VLA: 能動的視覚注意による視覚言語行動モデルの改善

AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルを部分観測マルコフ決定過程として再定式化し、履歴を反映した再帰状態と能動的視覚注意で行動生成を改善する手法を提案。LIBEROやCALVINで最高性能を達成し、実機双腕タスクにも転移。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの新フレームワーク AVA-VLA を提案 - ロボット操作を Partially Observable Markov Decision Process として再定式化 - タスク履歴に対する belief の neural approximation である recurrent state に基づき行動生成 - その上で Active Visual Attention (AVA) を導入し、現在の観測の visual tokens を動的に再重み付け - LIBERO や CALVIN などの標準ベンチマークと実世界 dual-arm manipulation で評価

2. 先行研究と比べてどこがすごい?

- 従来の多くの VLA は各 timestep の視覚観測を独立に処理する history-agnostic 設計 - それらは robot manipulation を Markov Decision Process として扱うが、実世界の制御は部分的観測可能で過去の相互作用の推論が必要 - AVA-VLA は POMDP の観点から VLA policy learning を再定式化し、履歴を考慮する点が異なる - 指示と実行履歴の両方に基づき視覚トークンを再重み付けする Active Visual Attention を導入 - 標準ベンチマークで state-of-the-art 性能を達成し、実世界 dual-arm manipulation にも転移

3. 技術・手法の肝は?

- VLA policy learning を Partially Observable Markov Decision Process の観点から再定式化 - タスク履歴に対する agent の belief を neural に近似する recurrent state を導入 - 行動生成をこの recurrent state に条件付ける - Active Visual Attention (AVA) により、現在の観測の visual tokens を動的に再重み付け - 再重み付けは instruction と execution history の両方を考慮し、関連領域に注目 - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO と CALVIN を含む標準的なロボティクスベンチマークで広範な実験を実施 - これらのベンチマークで state-of-the-art 性能を達成 - 実世界の dual-arm manipulation タスクへの転移も実証 - 時系列に基づく active visual processing が VLA 性能を改善することを示す結果 - 具体的な実験設定や比較手法の詳細は要旨からは不明

5. 議論はある?

- 実世界のロボット制御が部分的観測可能であり過去の相互作用の推論を要するという前提を強調 - history-agnostic な設計と実世界制御の要求の不一致を指摘 - recurrent state を belief の neural approximation として位置づけ - 時系列に基づく active visual processing の有効性を主張 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- LIBERO および CALVIN ベンチマークに関する論文 - Partially Observable Markov Decision Process に基づくロボット政策学習の研究 - Vision-Language-Action (VLA) モデルの先行研究 - Active Visual Attention や visual token の再重み付けに関する研究 - 実世界 dual-arm manipulation の研究 - 要旨で個別の比較論文は明示されていないため、上記は関連分野の代表的手法・ベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lei Xiao, Jifeng Li, Juntao Gao, Feiyang Ye, Yan Jin, Jingjing Qian, Jing Zhang, Yong Wu, Xiaoyuan Yu

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown remarkable progress in embodied tasks recently, but most methods process visual observations independently at each timestep. This history-agnostic design treats robot manipulation as a Markov Decision Process, even though real-world robotic control is inherently partially observable and requires reasoning over past interactions. To address this mismatch, we reformulate VLA policy learning from a Partially Observable Markov Decision Process perspective and propose AVA-VLA, a framework that conditions action generation on a recurrent state that serves as a neural approximation to the agent's belief over task history. Built on this recurrent state, we introduce Active Visual Attention (AVA), which dynamically reweights visual tokens in the current observation to focus on regions most relevant given both the instruction and execution history. Extensive experiments show that AVA-VLA achieves state-of-the-art performance on standard robotic benchmarks, including LIBERO and CALVIN, and transfers effectively to real-world dual-arm manipulation tasks. These results demonstrate the effectiveness of temporally grounded active visual processing for improving VLA performance in robotic sequential decision-making. The project page is available at https://liauto-dsr.github.io/AVA-VLA-Page.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI