日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2606.13877

接触豊富な操作における視覚-触覚世界モデルの重要要素:ContactWorld

ContactWorld: What Matters in Vision-Tactile World Models for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクにおける視覚-触覚世界モデルの性能を、12種類のタスクで体系的に比較し、空間構造と時間連続性を持つ表現(特に点群と触覚力場)が計画性能を向上させることを示した。

詳しい要約

1. どんなもの?

- ContactWorldは、contact-rich manipulationにおけるvision-tactile world modelsのbenchmarkおよび体系的実証研究。 - 12のcontact-richタスク(insertion, disassembly, screwing, exploratory interaction)を対象。 - どの表現特性が安定したlong-horizon planningを支えるかを調査。

2. 先行研究と比べてどこがすごい?

- 従来はvision-tactile world modelsの表現特性とplanning性能の関係が不明確だった。 - 本研究は12タスクで体系的に比較し、spatially structuredかつtemporally continuousな表現が最強と示す。 - point-cloudがwrist-viewやfront-viewより高い成功率を達成。 - tactile sensingの有効性はcross-modal compatibilityに依存すると発見。

3. 技術・手法の肝は?

- vision-tactile world modelsの表現特性を体系的に評価するbenchmarkを構築。 - 観測表現としてpoint-cloud、wrist-view、front-viewを比較。 - tactile表現としてtactile force-fieldを導入し、point-cloudと組み合わせ。 - cross-modal representation compatibilityとlong-horizon robustnessを分析。

4. どうやって有効だと検証した?

- 12のcontact-rich manipulationタスクで実験。 - point-cloudは平均planning成功率をwrist-viewの20.7%、front-viewの22.0%から32.1%に改善。 - point-cloudとtactile force-fieldの組み合わせで36.1%に向上。 - long-horizon planningでtactile sensingの重要性が増すことを確認。

5. 議論はある?

- 表現構造、multimodal compatibility、long-horizon robustnessが重要と結論。 - tactile sensingの効果はmodality scalingだけでなくcross-modal compatibilityに依存。 - long-horizonではprediction errorとcontact uncertaintyが蓄積し、tactileが重要に。 - 具体的な限界や反論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてvision-tactile world models、point-cloud-based manipulation、tactile force-field representation、long-horizon planningが挙げられる。 - 同分野の定番としてcontact-rich manipulationのworld modelsやmultimodal representation learningの論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiyuan Zhang, Pokuang Zhou, Kaidi Zhang, Adeesh Desai, Temitope Amosa, Davood Soleymanzadeh, Jiuzhou Lei, Minghui Zheng, Yu She

分類: cs.RO

原文アブストラクト

Contact-rich manipulation requires world models to reason over complex contact dynamics from multimodal sensory observations. However, it remains unclear which representation properties fundamentally support stable long-horizon planning in contact-rich settings. In this paper, we present ContactWorld, a benchmark and systematic empirical study of vision-tactile world models spanning 12 contact-rich manipulation tasks, including insertion, disassembly, screwing, and exploratory interaction. Across extensive experiments, we find that representations that are both spatially structured and temporally continuous consistently achieve the strongest planning performance. In particular, point-cloud observations improve average planning success rates from 20.7% with wrist-view observations and 22.0% with front-view observations to 32.1%. We further find that the effectiveness of tactile sensing depends critically on cross-modal representation compatibility rather than modality scaling alone. Combining point-cloud observations with tactile force-field representations, which preserve richer spatial structure and interaction dynamics, further improves performance to 36.1%, yielding the strongest overall planning performance across all evaluated tasks. Moreover, tactile sensing becomes increasingly important under long-horizon planning objectives, where compounding prediction errors and contact uncertainty accumulate over time. Together, these findings highlight the importance of representation structure, multimodal compatibility, and long-horizon robustness in vision-tactile world models for contact-rich robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI