日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.16207

IVRA: 学習不要のヒント誘導による視覚トークン関係改善でロボット行動方策を強化

IVRA: Improving Visual-Token Relations for Robot Action Policy with Training-Free Hint-Based Guidance

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの視覚エンコーダ内の親和性情報を推論時に注入し、再学習なしで視覚トークンの空間理解を改善する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける視覚トークン関係を改善する手法 IVRA を提案。 - 画像パッチを1Dトークン列に平坦化する際に失われる2D空間手がかりを補う。 - 学習不要 (training-free) で、推論時に軽量な介入を行うのみ。 - 外部エンコーダや再学習を必要としない。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は画像パッチを1D化するため2D空間構造が弱まる問題があった。 - IVRA はモデル内蔵の vision encoder に既にある affinity hints を活用する点が新しい。 - 外部エンコーダや再学習を不要とし、推論時のみの介入で済む軽量性が利点。 - 複数の VLA アーキテクチャ (LLaRA, OpenVLA, FLOWER) に適用可能な汎用性を示す。

3. 技術・手法の肝は?

- モデル内蔵の vision encoder から得られる affinity hints を利用。 - これらの affinity 信号を、instance-level features が存在する language-model 層へ選択的に注入。 - 推論時の介入により視覚トークン間の相互作用を再調整し、幾何構造を保持。 - すべてのモデルパラメータは固定したまま。

4. どうやって有効だと検証した?

- 多様な VLA アーキテクチャ (LLaRA, OpenVLA, FLOWER) に適用。 - 2D/3D 操作のシミュレーションベンチマーク (VIMA, LIBERO) で評価。 - 各種実ロボットタスクでも検証。 - 2D VIMA では低データ設定で LLaRA ベースライン比 +4.2% の平均成功率向上。 - 3D LIBERO では OpenVLA と FLOWER に対し一貫した改善、飽和付近でも 96.3% → 97.1 の向上。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コストの詳細な議論は要旨に記載なし。

6. 次に読むべき論文は?

- LLaRA - OpenVLA - FLOWER - VIMA - LIBERO

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jongwoo Park, Kanchana Ranasinghe, Jinhyeok Jang, Cristina Mata, Yoo Sung Jang, Michael S Ryoo

分類: cs.RO

原文アブストラクト

Many Vision-Language-Action (VLA) models flatten image patches into a 1D token sequence, weakening the 2D spatial cues needed for precise manipulation. We introduce IVRA, a lightweight, training-free method that improves spatial understanding by exploiting affinity hints already available in the model's built-in vision encoder, without requiring any external encoder or retraining. IVRA selectively injects these affinity signals into a language-model layer in which instance-level features reside. This inference-time intervention realigns visual-token interactions and better preserves geometric structure while keeping all model parameters fixed. We demonstrate the generality of IVRA by applying it to diverse VLA architectures (LLaRA, OpenVLA, and FLOWER) across simulated benchmarks spanning both 2D and 3D manipulation (VIMA and LIBERO) and on various real-robot tasks. On 2D VIMA, IVRA improves average success by +4.2% over the baseline LLaRA in a low-data regime. On 3D LIBERO, it yields consistent gains over the OpenVLA and FLOWER baselines, including improvements when baseline accuracy is near saturation (96.3% -> 97.1). Code and visualizations are available at: jongwoopark7978.github.io/IVRA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI