日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.27872

S$^2$-VLA: 長期的操作のための状態空間誘導型視覚言語行動モデル

S$^2$-VLA: State-Space Guided Vision-Language-Action Models for Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクで性能が劣化する問題を解決するため、タスクの進行状態を追跡し動的に特徴量を融合する適応的注意機構を導入したVLAモデルを提案した。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスクにおけるVision-Language-Action (VLA) モデルの性能劣化を解決するフレームワーク。 - State-Space Guided Adaptive Attention (SSGAA) を導入し、タスク進行状況を追跡するbelief stateに基づいて動的なゲーティング重みを生成。 - 視覚特徴、タスク意図、時間的行動シーケンスを適応的に融合し、タスク段階に応じて焦点を調整。 - 2Bパラメータのコンパクトなモデルでありながら、7Bスケールのモデルを上回る性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは固定重みによる静的な特徴融合メカニズムに依存し、タスク実行の異なる段階に適応できず、累積誤差が生じやすかった。 - 提案手法は動的なゲーティング重みにより、視覚・言語・行動の情報を適応的に融合し、長期的タスクにおける性能劣化を抑制。 - 2Bパラメータという小規模ながら、7Bスケールのモデルを一貫して上回り、LIBEROやSimplerEnvなどのベンチマークで最先端性能を達成。

3. 技術・手法の肝は?

- State-Space Guided Adaptive Attention (SSGAA) メカニズムを提案。 - belief stateを維持し、タスクの進行状況を追跡。 - このbelief stateに基づいて動的なゲーティング重みを生成し、視覚特徴(空間知覚)、タスク意図(高レベル計画)、時間的行動シーケンス(実行一貫性)の3つの情報源を適応的に融合。 - タスク実行中にモデルの焦点をシフトさせ、各段階の要求に合わせる。

4. どうやって有効だと検証した?

- 長期的操作ベンチマークであるLIBEROとSimplerEnvで評価。 - 2Bパラメータのモデルが7Bスケールのモデルを一貫して上回り、最先端性能を達成したことを報告。 - 適応的特徴融合の重要性を強調。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:LIBERO、SimplerEnv、7BスケールのVLAモデル(具体的名称は要旨に記載なし)。 - 関連手法:Vision-Language-Action (VLA) モデル、State-Space Guided Adaptive Attention (SSGAA)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhipeng Xie, Zongyi Han, Xiangyi Wei, Shiliang Sun, Yang Li, Jing Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have demonstrated strong capabilities in robotic manipulation, but their performance degrades significantly in long-horizon tasks due to cumulative error propagation. This limitation largely arises from static feature fusion mechanisms that rely on fixed weights to combine visual, language, and action representations, preventing the model from adapting to different phases of task execution. To address this limitation, we propose S$^2$-VLA, a framework that introduces a State-Space Guided Adaptive Attention (SSGAA) mechanism. SSGAA maintains a belief state that tracks task progression and generates dynamic gating weights to adaptively fuse information from three complementary sources visual features for spatial perception, task intents for high-level task planning, and temporal action sequences for execution consistency. This adaptive fusion allows the model to shift its focus throughout task execution, aligning with the evolving requirements of different task stages. Despite its compact 2B parameter size, S$^2$-VLA consistently outperforms larger 7B-scale models and achieves state-of-the-art performance on long-horizon manipulation benchmarks, including LIBERO and SimplerEnv. highlighting the importance of adaptive feature fusion for long-horizon robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI