TacVLA: 接触認識型触覚融合による堅牢な視覚言語行動操作
TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation
視覚と言語に依存するVLAモデルに触覚を統合し、接触検出時のみ触覚トークンを活性化するゲーティング機構を導入して、細かい操作や視覚遮蔽下での性能を向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She
分類: cs.RO
原文アブストラクト
Vision-Language-Action (VLA) models have demonstrated significant advantages in robotic manipulation. However, their reliance on vision and language often leads to suboptimal performance in tasks involving visual occlusion, fine-grained manipulation, and physical contact. To address these challenges, we propose TacVLA, a fine-tuned VLA model by incorporating tactile modalities into the transformer-based policy to enhance fine-grained manipulation capabilities. Specifically, we introduce a contact-aware gating mechanism that selectively activates tactile tokens only when contact is detected, enabling adaptive multimodal fusion while avoiding irrelevant tactile interference. The fused visual, language, and tactile tokens are jointly processed within the transformer architecture to strengthen cross-modal grounding during contact-rich interaction. Extensive experiments on constraint-locked disassembly, in-box picking and robustness evaluations demonstrate that our model outperforms baselines, improving the performance by averaging 20% success rate in disassembly, 60% in in-box picking and 2.1x improvement in scenarios with visual occlusion. Videos are available at https://sites.google.com/view/tacvla and code will be released.
関連論文
- ViTaR: 基盤VLA操作のための視触覚残差適応VLA/触覚/操作
- TACO: 触覚を考慮した世界モデルによるスケーラブルなVLAポストトレーニングの自己修正VLA/触覚/操作
- τ: 未来の視覚的監督から学習する触覚拡張型視覚言語行動モデルVLA/触覚/操作
- N0-VTLA：潜在触覚トークンによる視覚・触覚・言語・行動モデルのスケーリングVLA/触覚/操作
- AT-VLA: 適応的触覚注入による視覚言語行動モデルのフィードバック反応向上VLA/触覚/操作
