日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.06013

VAT: ViTの全表現を活用する視覚行動トランスフォーマー

VAT: Vision Action Transformer by Unlocking Full Representation of ViT

シェア:XThreadsFacebookLINEはてブBluesky

ViTの全層の特徴を行動生成に融合させるVATを提案し、LIBEROベンチマークで98.15%の成功率を達成した模倣学習モデル。

詳しい要約

1. どんなもの?

- ロボット学習のための新しいアーキテクチャ Vision Action Transformer (VAT) を提案。 - ViT の全層の特徴を活用し、action token を視覚特徴と融合。 - 模倣学習に強力なモデルを提供。

2. 先行研究と比べてどこがすごい?

- 従来は ViT の最終層のみを使用し情報を捨てていた。 - VAT は ViT の全特徴階層を活用し、知覚と行動生成を深く漸進的に融合。 - 4つの LIBERO ベンチマークで平均成功率 98.15% を達成し、OpenVLA-OFT などの先行手法を上回る新たな SOTA を確立。

3. 技術・手法の肝は?

- ViT を拡張し、action token を全 transformer 層で視覚特徴と処理。 - 知覚と行動生成の深い漸進的融合を実現。 - 完全な「表現軌跡」を活用。

4. どうやって有効だと検証した?

- シミュレーション操作タスクのスイートで評価。 - 4つの LIBERO ベンチマークで平均成功率 98.15% を達成。 - 先行手法 OpenVLA-OFT を上回る性能を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA-OFT - LIBERO ベンチマーク - ViT ベースのロボット学習手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Li, Chengwei Ma, Weixin Mao

分類: cs.CV, cs.RO

原文アブストラクト

In robot learning, Vision Transformers (ViTs) are standard for visual perception, yet most methods discard valuable information by using only the final layer's features. We argue this provides an insufficient representation and propose the Vision Action Transformer (VAT), a novel architecture that is extended from ViT and unlocks the full feature hierarchy of ViT. VAT processes specialized action tokens with visual features across all transformer layers, enabling a deep and progressive fusion of perception and action generation. On a suite of simulated manipulation tasks, VAT achieves a 98.15\% average success rate across four LIBERO benchmarks, establishing a new state-of-the-art by outperforming prior methods like OpenVLA-OFT. Our work presents not only a powerful model for imitation learning but also demonstrates the critical importance of leveraging the complete ''representation trajectory'' of vision models to advance robotic policy. The GitHub URL for the project code is https://github.com/sellerbubble/VAT.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI