日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.23864

未来の触覚を予測して接触操作を学習するDreamTacVLA

Learning to Feel the Future: DreamTacVLA for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

高解像度触覚画像と視覚を統合し、将来の触覚信号を予測する触覚ワールドモデルで微調整することで、接触の多い操作タスクにおけるVLAモデルの性能を向上させた研究。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルに接触物理の理解を持たせる枠組み DreamTacVLA を提案する研究。 - 高解像度 tactile images を micro-vision として、wrist-camera の local vision と third-person の macro vision に統合する階層的知覚を採用。 - 未来の tactile 信号を予測する tactile world model で finetune し、接触が豊富な manipulation タスクでの性能向上を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は web-scale 知識を制御に写像できるが物理的接触に盲目で、force・texture・slip の推論を要する contact-rich タスクが苦手。 - 一部の先行手法は低次元 tactile 信号を用いるが、高解像度の接触ダイナミクスを捉えられない。 - 本手法は高解像度 tactile images と未来予測を組み合わせ、state-of-the-art の VLA ベースラインを上回る点が新しい。

3. 技術・手法の肝は?

- 階層的知覚: 高解像度 tactile images を micro-vision、wrist-camera を local vision、third-person を macro vision として入力。 - Hierarchical Spatial Alignment (HSA) loss で tactile tokens を wrist 視点・third-person 視点の空間対応物に整列し、多スケール感覚を統合。 - tactile world model で将来の tactile 信号を予測するよう finetune し、実観測と想像された結果の両方に条件付けて行動を生成。 - データ不足とセンサ摩耗に対処するため、high-fidelity digital twin と実世界実験を組み合わせた大規模ハイブリッドデータセットを構築。

4. どうやって有効だと検証した?

- contact-rich manipulation タスク群で評価し、state-of-the-art の VLA ベースラインと比較。 - 最大 95% の成功率を達成したと報告。 - 具体的なタスク名・ベースライン名・評価指標の詳細は要旨からは不明。

5. 議論はある?

- 接触物理の理解が堅牢で touch-aware なロボットエージェントに重要であると主張。 - tactile データの希少性とセンサの摩耗性に対し、digital twin と実実験のハイブリッドデータで対処する設計。 - 限界・失敗事例・計算コスト・sim-to-real ギャップなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される state-of-the-art の VLA ベースライン(具体名は要旨からは不明)。 - 低次元 tactile 信号を VLA に組み込む先行 tactile-VLA 研究(具体名は要旨からは不明)。 - 関連手法として Vision-Language-Action (VLA) モデル、tactile world model、digital twin を用いたデータ生成の代表的文献。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guo Ye, Zexi Zhang, Xu Zhao, Shang Wu, Haoran Lu, Shihan Lu, Han Liu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have shown remarkable generalization by mapping web-scale knowledge to robotic control, yet they remain blind to physical contact. Consequently, they struggle with contact-rich manipulation tasks that require reasoning about force, texture, and slip. While some approaches incorporate low-dimensional tactile signals, they fail to capture the high-resolution dynamics essential for such interactions. To address this limitation, we introduce DreamTacVLA, a framework that grounds VLA models in contact physics by learning to feel the future. Our model adopts a hierarchical perception scheme in which high-resolution tactile images serve as micro-vision inputs coupled with wrist-camera local vision and third-person macro vision. To reconcile these multi-scale sensory streams, we first train a unified policy with a Hierarchical Spatial Alignment (HSA) loss that aligns tactile tokens with their spatial counterparts in the wrist and third-person views. To further deepen the model's understanding of fine-grained contact dynamics, we finetune the system with a tactile world model that predicts future tactile signals. To mitigate tactile data scarcity and the wear-prone nature of tactile sensors, we construct a hybrid large-scale dataset sourced from both high-fidelity digital twin and real-world experiments. By anticipating upcoming tactile states, DreamTacVLA acquires a rich model of contact physics and conditions its actions on both real observations and imagined consequences. Across contact-rich manipulation tasks, it outperforms state-of-the-art VLA baselines, achieving up to 95% success, highlighting the importance of understanding physical contact for robust, touch-aware robotic agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI