日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.07596

LIRA: 視覚言語行動デコーディングのための局所クロスレイヤー情報ルーティング

LIRA: Local Cross-Layer Information Routing for Vision-Language-Action Decoding

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにおいて、VLMの中間特徴をアクションデコーダにルーティングする新しい機構LIRAを提案。深さを考慮した局所ウィンドウで情報を集約し、既存のバックボーンや学習手法を変えずに性能を向上させる。

詳しい要約

1. どんなもの?

LIRAは、Vision-Language-Action (VLA)モデルにおいて、事前学習済みのVision-Language Model (VLM)からアクションデコーダへの特徴量のルーティングを改善する手法。既存のVLA-Adapterベースラインと同規模(0.5Bパラメータ)で、バックボーンやデコーダ、学習レシピを変えずに、VLMの中間層の特徴をdepth-awareに集約する。

2. 先行研究と比べてどこがすごい?

既存のVLA-Adapterは、VLMの特徴をアクションデコーダに渡す際、表現階層の一部しか使わないか、各デコーダブロックを単一のVLM層に固定的に対応させるため、異なる深さの補完的なタスク情報にアクセスできない。LIRAは、各デコーダブロックにdepth-alignedなローカルウィンドウを割り当て、近傍のLIRA Query特徴を集約することで、複数層の情報を柔軟に統合する点が新しい。

3. 技術・手法の肝は?

LIRAは、VLMの中間状態から得られるタスクトークン特徴とLIRA Query特徴を用いる。各Parallel Fusion Blockは、対応するVLM層を中心としたdepth-alignedなローカルウィンドウを割り当てられ、そのウィンドウ内のLIRA Query特徴を集約し、タスクトークン特徴とプロプリオセプティブ入力と統合してからアクション予測を行う。ルーティングインターフェースのみを変更し、バックボーン、アクションデコーダ、教師あり学習レシピは変更しない。

4. どうやって有効だと検証した?

LIBERO、LIBERO-Plus、CALVIN ABC→D、および実世界のマニピュレーションタスクで評価。VLA-Adapterベースライン(0.5Bパラメータ)と比較し、主要な集約メトリクスで改善。特に、LIBERO-Plusへのゼロショット転送では、平均成功率が59.1%から78.0%に向上(18.9ポイント増)し、分布シフトに対するロバスト性が向上した。

5. 議論はある?

要旨からは、LIRAの有効性は示されているが、計算コストやスケーラビリティ、他のVLAアーキテクチャへの適用可能性、ウィンドウサイズの影響などの詳細は不明。また、実世界実験の具体的なタスク内容や成功率の詳細も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されているVLA-Adapter、および関連するVLAモデル(例:RT-2、Octo)や、クロスアテンションを用いたマルチモーダル融合手法(例:Perceiver、CrossFormer)を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhewei Zhang, Puyue Wang, Guanren Qiao, Yijie Weng, Jiawei Hu, Guo Li, Lujia Wang, Junyan Wang, Tao Gu, Hongliang Lu, Guiliang Liu, Hong Jia, Xinhu Zheng

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models transform representations from pretrained vision-language models (VLMs) into robot actions, yet the interface that routes intermediate VLM features into action decoders remains underexplored. Existing designs either expose only a narrow part of the representation hierarchy or rigidly match each decoder block to one VLM layer, restricting access to complementary task evidence across depths. We introduce LIRA, a local cross-layer action-conditioning mechanism that formulates VLM-to-action conditioning as depth-aware information routing. LIRA operates on task-token features and LIRA Query features derived from intermediate VLM states, then assigns each Parallel Fusion Block a depth-aligned local window centered on its corresponding VLM layer. Parallel Fusion Blocks aggregate neighboring LIRA Query features and integrate them with task-token features and proprioceptive inputs before action prediction. This routing interface leaves the backbone architecture, action decoder, and supervised training recipe unchanged. Across LIBERO, LIBERO-Plus, CALVIN ABC$\rightarrow$D, and real-world manipulation, LIRA improves the principal aggregate metrics over the VLA-Adapter baseline under the same 0.5B-parameter configuration. In zero-shot transfer to LIBERO-Plus, LIRA increases average success from 59.1% to 78.0%, an 18.9-point gain indicating improved robustness under controlled distribution shifts.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI