日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/操作arXiv:2606.31723

UniTacVLA: 視覚言語行動モデルにおける統合触覚理解と予測

UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う器用な操作のために、触覚信号を動的な相互作用の手がかりとして扱い、現在の触覚状態と将来の接触変化を統合的にモデル化するフレームワークを提案。触覚連鎖思考と粗密な将来触覚予測により状態・動態を考慮した事前知識を構築し、実時間と予測触覚を組み合わせた混合制御で高精度な操作を実現。

詳しい要約

1. どんなもの?

- 視覚・触覚・言語・行動を統合したVLAモデル - 接触の多い器用な操作を対象 - 触覚信号を動的な相互作用の手がかりとして扱う - 統合触覚学習フレームワークを提案 - 接触理解と予測を同時にモデル化

2. 先行研究と比べてどこがすごい?

- 従来のVTLAは触覚を受動的な補助入力として扱う - 触覚の意味論や将来の物理的相互作用のモデル化が困難 - 提案手法は触覚を動的な相互作用の手がかりとして能動的に活用 - 状態認識と動力学認識の触覚事前分布を形成 - 接触の多いタスクでの性能向上を実現

3. 技術・手法の肝は?

- 統合触覚潜在空間を構築 - 触覚chain-of-thought推論で現在の触覚状態と将来の接触変化を共同モデル化 - coarse-to-fineな将来触覚予測を実施 - 状態認識・動力学認識の触覚事前分布を形成 - 触覚-行動混合コントローラを導入 - リアルタイムと予測触覚フィードバックを組み合わせ - 低頻度の行動チャンクを高頻度補正で洗練

4. どうやって有効だと検証した?

- 実世界実験を4カテゴリの接触の多いタスクで実施 - 調整、挿入、拭き取り、組み立てを含む - クリーンな設定と外部擾乱設定の両方で評価 - 既存手法と比較して成功率、操作精度、接触ロバスト性を改善 - 器用な物理的相互作用における有効性を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明記されていない - 同分野の定番としてVision-Language-Action (VLA)モデル、Vision-Tactile-Language-Action (VTLA)モデル、触覚センシングを統合したロボットマニピュレーション研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xidong Zhang, Yichi Zhang, Jiaxin Shi, Fucai Zhu, Siyu Zhu, Michael Yu Wang, Xiaojun Wu, Weihao Yuan

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models have achieved strong performance in many robotic manipulation tasks, yet remain limited in contact-rich dexterous manipulation. To overcome this limitation, recent vision-tactile-language-action (VTLA) methods incorporate tactile sensing into VLA models to provide direct contact information. However, they typically treat tactile signals as passive auxiliary inputs, making it difficult to model tactile semantics and future physical interactions. To this end, we propose a unified tactile learning framework for contact-rich manipulation that models tactile signals as dynamic interaction cues for both contact understanding and prediction. Specifically, we construct a unified tactile latent space and jointly model current tactile states and future contact changes through tactile chain-of-thought reasoning and coarse-to-fine future tactile prediction, thereby forming a state-aware and dynamics-aware tactile prior. Based on this prior, we introduce a tactile-action mixed controller that combines real-time and predicted tactile feedback to refine low-frequency action chunks with high-frequency corrections. Real-world experiments on four categories of contact-rich tasks, including adjustment, insertion, wiping, and assembly, under both clean and externally perturbed settings, show that our method improves success rate, manipulation accuracy, and contact robustness over existing methods, demonstrating its effectiveness in dexterous physical interaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI