日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/触覚/マニピュレーションarXiv:2604.23272

視覚言語行動モデルへの物理フィードバック統合のためのモジュール型感覚ストリーム

Modular Sensory Stream for Integrating Physical Feedback in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)に触覚やトルクなどの複数の物理センサ信号を統合するモジュール型フレームワークを提案し、実世界実験で性能向上を実証した。

詳しい要約

1. どんなもの?

- Vision-Language-Action models (VLAs) に複数の物理フィードバック信号を統合するフレームワーク MoSS を提案。 - 触覚やトルクなどの異種感覚信号を活用し、行動予測の性能向上を目指す。 - モジュール型の感覚ストリームを導入し、実世界実験で有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の VLA への物理信号統合は単一の信号タイプに限定されがち。 - 実世界の相互作用が持つ異種性・相補性を捉えられていなかった。 - MoSS は複数の物理信号を同時に活用し、相乗的な性能向上を実現。

3. 技術・手法の肝は?

- 分離されたモダリティストリームを導入し、joint cross-modal self-attention で行動ストリームに統合。 - 新しいモダリティを安定して組み込むため、初期段階で pretrained VLA パラメータを凍結する二段階学習を採用。 - 接触相互作用のダイナミクスを捉えるため、将来の物理信号を予測する補助タスクを追加。

4. どうやって有効だと検証した?

- 広範な実世界実験を実施。 - 触覚とトルクの多様な物理信号を VLA が活用できることを示す。 - 複数信号の統合により相乗的な性能向上を達成したと報告。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として Vision-Language-Action models (VLAs) や tactile sensing、torque sensing に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jimin Lee, Huiwon Jang, Myungkyu Koo, Jungwoo Park, Jinwoo Shin

分類: cs.RO

原文アブストラクト

Humans understand and interact with the real world by relying on diverse physical feedback beyond visual perception. Motivated by this, recent approaches attempt to incorporate physical sensory signals into Vision-Language-Action models (VLAs). However, they typically focus on a single type of physical signal, failing to capture the heterogeneous and complementary nature of real-world interactions. In this paper, we propose MoSS, a modular sensory stream framework that adapts VLAs to leverage multiple sensory signals for action prediction. Specifically, we introduce decoupled modality streams that integrate heterogeneous physical signals into the action stream via joint cross-modal self-attention. To enable stable incorporation of new modalities, we adopt a two-stage training scheme that freezes pretrained VLA parameters in the early stage. Furthermore, to better capture contact interaction dynamics, we incorporate an auxiliary task that predicts future physical signals. Through extensive real-world experiments, we demonstrate that MoSS successfully augments VLAs to leverage diverse physical signals (i.e., tactile and torque), integrating multiple signals to achieve synergistic performance gains.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI