日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/VLAarXiv:2603.01700

TacMamba: 高速反射と低速VLA推論を橋渡しする触覚履歴圧縮アダプタ

TacMamba: A Tactile History Compression Adapter Bridging Fast Reflexes and Slow VLA Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

触覚データの高周波処理と視覚ポリシーの低周波処理のギャップを埋めるため、Mambaベースの触覚履歴圧縮器を導入し、VLAモデルにプラグイン可能な高速触覚融合を実現した。

詳しい要約

1. どんなもの?

- 視覚的に曖昧なマニピュレーション(例:ボタンクリックの触覚フィードバック検出)において、触覚データをVLA(Vision-Language-Action)モデルに融合するための階層的アーキテクチャ「TacMamba」を提案。 - 高周波の触覚反射(System 1)と低周波の視覚計画(System 2)の時空間的ミスマッチを橋渡しする。 - 3つのコア貢献:(1) 柔軟な統合のためのカスタム高周波触覚インターフェース、(2) MambaベースのTactile History Compressor(O(1)推論遅延0.45ms)、(3) Tactile-Guided Dual-Stage Training戦略。

2. 先行研究と比べてどこがすごい?

- 既存のTransformerは高周波ループ(>100Hz)では計算コストが過大。 - LSTMは長い相互作用履歴で忘却が生じる。 - TacMambaはMambaベースの圧縮器によりO(1)推論遅延を実現し、VLAモデルとのプラグアンドプレイ融合を共同事前学習なしで可能にする。 - 視覚のみのpi_0.5ベースラインを大幅に上回る100%の成功率を達成。

3. 技術・手法の肝は?

- 高周波触覚インターフェース:柔軟な統合を可能にするカスタム設計。 - Mamba-based Tactile History Compressor:連続的な力履歴をコンパクトな状態にエンコードし、O(1)推論遅延(0.45ms)を実現。 - Tactile-Guided Dual-Stage Training:時間的識別を利用した自己教師あり表現学習と、データ疎性を緩和する位相均一サンプリング。

4. どうやって有効だと検証した?

- 離散カウントと暗黙的状態切り替えの実験で検証。 - TacMambaは100%の成功率を達成し、視覚のみのpi_0.5ベースラインを大幅に上回る。 - 厳しいリアルタイム制約を満たすことも確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- pi_0.5(視覚のみのベースライン) - Transformerベースの触覚融合手法 - LSTMベースの触覚処理手法 - Mamba(状態空間モデル) - VLA(Vision-Language-Action)モデル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenan Wang, Yanzhe Wang, Meixuan Ren, Peng Li, Yang Liu, Yifei Nie, Limin Long, Yun Ye, Xiaofeng Wang, Zhen Zhu, Huixu Dong

分類: cs.RO

原文アブストラクト

In visually ambiguous manipulation such as detecting button click tactile feedback is often the sole source of ground truth. However, fusing tactile data poses a significant challenge due to a spatiotemporal mismatch: tactile perception requires high-frequency processing with long-horizon memory (System 1), whereas visual policies operate at low control frequencies (System 2). Existing architectures struggle to bridge this gap: Transformers are computationally prohibitive for high-frequency loops (>100Hz), while LSTMs suffer from forgetting over extended interaction histories. In this paper, we introduce TacMamba, a hierarchical architecture that aligns high-bandwidth tactile reflexes with low-frequency visual planning. Our approach comprises three core contributions: (1) a custom high-frequency tactile interface designed for flexible integration; (2) a Mamba-based Tactile History Compressor that encodes continuous force history into a compact state with O(1) inference latency (0.45 ms), enabling plug-and-play fusion with VLA models without joint pre-training and (3) a Tactile-Guided Dual-Stage Training strategy that leverages temporal discrimination for self-supervised representation learning and phase-uniform sampling to mitigate data sparsity. Experiments on discrete counting and implicit state switching demonstrate that TacMamba achieves 100% success rates, significantly outperforming the visual-only pi_0.5 baseline, while strictly satisfying hard real-time constraints.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI