日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2607.24267

FeelWorld: 階層的接触予測と計画のための視触覚ワールドモデル

FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning

シェア:XThreadsFacebookLINEはてブBluesky

視覚と触覚を統合した階層的ワールドモデルを提案し、将来の視覚特徴と接触・滑り状態を予測することで、接触を伴う操作タスクの計画を改善する。

詳しい要約

1. どんなもの?

FeelWorldは、視覚と触覚を統合した階層的なworld modelであり、将来の視覚潜在表現と3つの触覚状態(接触状態、3D触覚潜在表現、滑り状態)を共同で予測する。接触を伴う操作タスクにおいて、視覚的に妥当だが物理法則に反する未来予測を防ぐことを目的とする。

2. 先行研究と比べてどこがすごい?

既存の視覚world modelは外観のダイナミクスのみを捉え、接触を伴う相互作用を支配する触覚状態を無視している。FeelWorldは触覚状態を明示的に予測し、視覚予測と統合することで、物理的に妥当な未来予測を実現する点が新しい。

3. 技術・手法の肝は?

手法の肝は、接触状態、3D触覚潜在表現、滑り状態を階層的に予測する共有潜在ダイナミクスモデルと、接触ゲート付き非対称注意機構である。接触前は視覚のみの予測経路を維持し、接触中のみ視覚と触覚の共同予測を行う。さらに、自己回帰ロールアウトとコンテキストノイズ注入でロバスト性を向上させる。

4. どうやって有効だと検証した?

チップ把持、果物把持、USB挿入の3つのタスクで評価。10ステップのLPIPSを0.084から0.058に低減し、80ステップの自己回帰ロールアウト後も視覚ベースラインよりLPIPSを61%低く維持。ゼロショット計画成功率は平均81.7%を達成。

5. 議論はある?

要旨からは、触覚信号が自由空間運動中に視覚予測を劣化させる問題への対処法として接触ゲート機構を導入しているが、その他の限界や議論は明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、視覚world modelの定番であるDreamerや、触覚センシングを統合したモデル、接触状態推定に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenxuan Ma, Chaofan Zhang, Chao Xue, Yinghao Cai, Guocai Yao, Shaowei Cui, Shuo Wang

分類: cs.RO

原文アブストラクト

Humans plan physical interactions by imagining the possible outcomes of candidate actions. However, existing visual world models primarily capture appearance dynamics while overlooking the tactile states that govern contact-rich interactions, potentially producing imagined futures that appear visually plausible but violate physical dynamics. We introduce FeelWorld, a hierarchical visuo-tactile world model that jointly predicts future visual latents and three tactile states. FeelWorld organizes these states hierarchically as contact state, a 3D tactile latent that encodes force-related information, and slip state. These states are jointly predicted by a shared latent dynamics model with explicit supervision. To prevent irrelevant tactile signals during free-space motion from degrading visual prediction, we introduce a contact-gated asymmetric attention mechanism that maintains a visual-only prediction pathway before contact and enables joint visuo-tactile dynamics prediction during contact. The model is further trained with autoregressive rollouts and context noise injection to improve robustness to compounding errors. The predicted contact and slip states also support contact-aware CEM planning. Experiments on chip grasping, fruit grasping, and USB insertion show that FeelWorld reduces 10-step LPIPS from 0.084 to 0.058 and maintains an LPIPS that is 61% lower than that of the visual baseline after an 80-step autoregressive rollout. FeelWorld also achieves an average zero-shot planning success rate of 81.7%, providing an effective approach for incorporating tactile sensing into world models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI