日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/操作arXiv:2606.11184

TacForeSight: 接触豊富な操作のための力誘導型触覚ワールドモデル

TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクにおいて、力覚と触覚の非対称な時空間的役割を考慮し、触覚潜在ダイナミクスを予測する軽量な触覚ワールドモデルと、予測結果を活用するポリシーを提案。実機実験で動的接触外乱下での優位性を示した。

詳しい要約

1. どんなもの?

- 接触の多いマニピュレーション向けの枠組み「TacForeSight」を提案。 - 中核はTacForceWMで、双指のtactile観測と高周波のwrist force/torque信号を条件に、短horizonのtactile latent dynamicsを予測するtactile world model。 - もう一つの要素はPredictive Tactile-Conditioned Policyで、予測latentをanticipatory contact priorとして用い、cross-attentionで現在から未来のtactile変化をモデル化。 - tactile-guided gating moduleでvisuo-tactile特徴を適応的に融合。 - コンパクトなlatent空間内で予測することで、リアルタイム推論と高頻度制御を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来のimitation learningはtactileやforce feedbackを統合し接触対応制御を改善してきたが、global forceとlocal tactile sensingの非対称な時空間的役割をほとんどモデル化していない。 - TacForeSightはforce-conditionedなtactile foresightを導入し、この非対称性に対処。 - 予測をlatent空間内で行うことで、効率的なリアルタイム推論を実現し、高頻度マニピュレーション制御に適する点が先行研究と異なる。

3. 技術・手法の肝は?

- TacForceWM:双指tactile観測を入力とし、高周波wrist force/torque信号で条件付けして、短horizonのtactile latent dynamicsを予測するtactile world model。 - Predictive Tactile-Conditioned Policy:予測latentをanticipatory contact priorとして利用。 - cross-attentionにより現在から未来へのtactile evolutionをモデル化。 - tactile-guided gating moduleでvisuo-tactile特徴を適応的に融合。 - 予測はコンパクトなlatent space内で完結させ、proactive contact reasoningと高頻度制御を両立。

4. どうやって有効だと検証した?

- 実ロボット実験を5つの代表タスクと3つのin-process perturbation設定で実施。 - TacForeSightは既存baselineを一貫して上回り、特に動的接触外乱下で優位。 - モデルとデータセットはプロジェクトサイトで公開予定。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、latent予測の精度やhorizon設定、force/torqueとtactileの非対称性の一般化、実機での計算負荷や汎化性が考えられるが、要旨には明示されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、tactile/force feedbackを統合するimitation learning、tactile world model、visuo-tactile fusion、cross-attentionやgatingを用いたcontact-aware policyが挙げられる。 - 同分野の定番として、behavior cloningやdiffusion policyなどのimitation learning手法、tactile sensingを用いたcontact-rich manipulation研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yujie Zang, Yuhang Zheng, Xian Nie, Yupeng Zheng, Shuai Tian, Songen Gu, Chen Gao, Zining Wang, Shuicheng Yan, Wenchao Ding

分類: cs.RO

原文アブストラクト

Contact-rich manipulation requires robots to continuously perceive and regulate evolving physical interactions under dynamic contact transitions or complex surface geometries. Recent imitation learning methods improve contact-aware control by incorporating tactile or force feedback, but they rarely model the asymmetric spatiotemporal roles of global force and local tactile sensing. To address this, we propose TacForeSight, a lightweight force-conditioned tactile foresight framework for real-time manipulation. The core component is TacForceWM, a tactile world model that predicts short-horizon tactile latent dynamics from dual-finger tactile observations conditioned on high-frequency wrist force and torque signals. Another key component, the Predictive Tactile-Conditioned Policy, leverages the predicted latents as anticipatory contact priors, models the current-to-future tactile evolution via cross-attention, and adaptively fuses visuo-tactile features through a tactile-guided gating module. By forecasting purely within a compact latent space, TacForeSight enables proactive contact reasoning with efficient real-time inference suitable for high-frequency manipulation control. Real-robot experiments on five representative tasks and three in-process perturbation settings show that TacForeSight consistently outperforms existing baselines, particularly under dynamic contact disturbances. All models and datasets will be made publicly available on the project website at https://tacforesight.github.io/ProjectPage.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI