日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.23655

重要なものに注目:視覚言語行動モデルのための物体・エージェント中心トークン化

Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models

シェア:XThreadsFacebookLINEはてブBluesky

物体とエージェントに注目したトークン化で視覚トークン数を大幅に削減し、VLAモデルの学習を高速化・高性能化する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを効率的に学習するための tokenization 手法 **Oat-VLA** を提案する研究。 - VLA は大規模 pre-trained Vision-Language-Model (VLM) を再利用してロボット操作を学習する枠組み。 - 問題意識は視覚入力の tokenization scheme に由来する不要に高い計算コスト。 - 視覚 token 数を「わずか数 token」まで削減しつつ性能を維持することを狙う。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 適応は視覚入力をそのまま token 化するため計算コストが高い、という課題設定。 - 提案法は object-centric representation learning の知見に基づき、scene objects と agent 自身の視覚情報への inductive bias を導入。 - その結果、視覚 token を大幅削減しても性能を犠牲にしない点が特徴。 - LIBERO suite で OpenVLA より少なくとも2倍速く収束し、実世界の pick and place タスクでも OpenVLA を上回ると報告。

3. 技術・手法の肝は?

- **Oat-VLA** = Object-Agent-centric Tokenization for VLAs。 - object-centric representation learning の知見を活用し、scene objects と agent の自己視覚情報に焦点を当てる inductive bias を tokenization に組み込む。 - これにより視覚 token 数を数 token 程度まで削減。 - 具体的な token 化アルゴリズムやアーキテクチャ詳細は要旨からは不明。

4. どうやって有効だと検証した?

- **LIBERO suite** での実験により、OpenVLA と比較して少なくとも2倍速い収束を示す。 - 多様な実世界 pick and place タスクで OpenVLA を上回る性能を確認。 - 視覚 token を大幅削減しても性能を犠牲にしないことを示す。 - 定量的な詳細・被験者数・試行回数などは要旨からは不明。

5. 議論はある?

- 視覚 tokenization の効率化が VLA 学習コスト削減に有効であることを示唆。 - object-centric な inductive bias の有効性と限界(どのタスク・環境で効くか)については要旨からは不明。 - 実世界タスクの多様性やスケールに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- **OpenVLA**(主要比較対象。LIBERO suite および実世界 pick and place で比較)。 - **LIBERO suite** を用いた VLA 研究。 - object-centric representation learning の関連研究(具体名は要旨からは不明)。 - Vision-Language-Action モデル全般の効率化研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rokas Bendikas, Daniel Dijkman, Markus Peschl, Sanjay Haresh, Pietro Mazzaglia

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models offer a pivotal approach to learning robotic manipulation at scale by repurposing large pre-trained Vision-Language-Models (VLM) to output robotic actions. However, adapting VLMs for robotic domains comes with an unnecessarily high computational cost, which we attribute to the tokenization scheme of visual inputs. In this work, we aim to enable efficient VLA training by proposing Oat-VLA, an Object-Agent-centric Tokenization for VLAs. Building on the insights of object-centric representation learning, our method introduces an inductive bias towards scene objects and the agent's own visual information. As a result, we find that Oat-VLA can drastically reduce the number of visual tokens to just a few tokens without sacrificing performance. We reveal that Oat-VLA converges at least twice as fast as OpenVLA on the LIBERO suite, as well as outperform OpenVLA in diverse real-world pick and place tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI