日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/操作arXiv:2606.08737

Dream-Tac: 接触を伴うロボット操作のための統合触覚世界行動モデル

Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と触覚を統合した世界行動モデルを提案し、接触を伴う操作タスクでの行動予測精度を向上させた。

詳しい要約

1. どんなもの?

- 接触の多いロボットマニピュレーション向けの Tactile-World Action Model『Dream-Tac』を提案。 - 行動・将来の視覚観測・触覚ダイナミクスを統合的にモデル化する。 - 視覚だけでなく触覚を組み込み、接触リッチなタスクでの行動生成を狙う。 - コード公開あり。

2. 先行研究と比べてどこがすごい?

- 従来の World Action Model は主に vision に依存し、接触リッチな操作で失敗しやすい。 - 触覚の物理的相互作用の手がかりを統合する点が新しい。 - 行動・視覚・触覚を統合的にモデル化する unified な枠組みを実現。 - 6つの接触リッチタスクで行動精度が平均31.7%向上。

3. 技術・手法の肝は?

- contact-gated visuotactile fusion で触覚信号を選択的に統合。 - contact-aware attention bias でクロスモーダル相互作用を調整。 - リアルタイム展開のため dual-level acceleration strategy を設計。 - 訓練時は contact-aware bias を再定式化し fused attention path を保持。 - 推論時は cache-based diffusion acceleration を導入。 - 訓練最大2.9倍、推論最大1.8倍の高速化。

4. どうやって有効だと検証した?

- 6つの contact-rich manipulation tasks で評価。 - 行動精度が平均31.7%向上したと報告。 - 訓練・推論の高速化効果も示す。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある?

- 触覚を統合する有効性を主張。 - 高速化によりリアルタイム展開の可能性を示す。 - 限界や失敗ケース、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- World Action Models に関する先行研究(要旨で具体的名称なし)。 - vision-based world models や diffusion policy など同分野の定番。 - 触覚を扱う visuotactile manipulation の関連研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunfan Lou, Yifan Ye, Yankai Fu, Jun Cen, Xiaowei Chi, Yaoxu Lyu, Peidong Jia, Sirui Han, Zhihe Lu, Shanghang Zhang

分類: cs.RO

原文アブストラクト

World action models inherit the predictive capability of world models, enabling action generation to be guided by anticipated future observations. However, they rely primarily on vision and often fail in contact-rich manipulation, where critical cues arise from physical interaction. In this paper, we propose Dream-Tac, a unified Tactile-World Action Model that jointly models actions, future visual observations, and tactile dynamics. Specifically, Dream-Tac introduces (i) contact-gated visuotactile fusion to selectively integrate tactile signals and (ii) a contact-aware attention bias to better regulate cross-modal interactions during manipulation. To support real-time deployment, we further design a dual-level acceleration strategy, reformulating the contact-aware bias to preserve the fused attention path during training and introducing cache-based diffusion acceleration at inference, achieving up to 2.9$\times$ faster training and 1.8$\times$ faster inference. Across six contact-rich manipulation tasks, Dream-Tac improves action accuracy by 31.7\% on average, demonstrating the effectiveness of unified visuotactile world modeling.Code is available at https://github.com/LYFCLOUDFAN/Dream-Tac.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI