データセット/世界モデル2026/7/1arXiv:2607.05390

Deform360: 変形可能な世界モデルのための大規模マルチビュー視触覚データセット

Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models

変形物体の動力学予測（世界モデリング）の研究を促進するため、198個の日用品、1,980のインタラクションシーケンス、215時間以上の観測データを含む大規模な視触覚データセットを構築し、2Dビデオモデルと3Dパーティクルモデルの性能を体系的に評価した。

詳しい要約

1. どんなもの？

Deform360は、変形可能物体のダイナミクス予測（ワールドモデリング）の研究を促進するために構築された、大規模な視触覚データセットである。198種類の日用品、1,980のインタラクションシーケンス、41台の周囲カメラと両手の触覚グリッパーによる215時間以上の観測データを含み、物体の大域的な動きと接触による局所的な変形の両方を捉える。さらに、マーカーレスな視触覚3Dトラッキングパイプラインを用いて高密度な幾何と動きを抽出し、2Dビデオモデルと3Dパーティクルモデルを体系的に評価する。また、変形物体のロボットプランニングタスクへの応用可能性を示す予備実験も行っている。

2. 先行研究と比べてどこがすごい？

既存のワールドモデルは、2Dピクセル空間または3D幾何空間でのダイナミクス学習という2つのパラダイムに分かれるが、多様で大規模な実世界データが不足していたため、それらの相対的な強みと限界の体系的理解が欠けていた。Deform360は、これまでにない規模と多様性を持つ実世界の視触覚データセットを提供し、2Dモデルと3Dモデルの公平な比較を可能にする点で先行研究を凌ぐ。また、マーカーレスな視触覚3Dトラッキングにより、接触による局所変形を含む高密度な幾何と動きを抽出できる点も新しい。

3. 技術・手法の肝は？

技術の肝は、マーカーレスな視触覚3Dトラッキングパイプラインを用いて、複数視点のRGB-D画像と触覚センサデータから物体の高密度な3D幾何と動きを推定することにある。これにより、大域的な動きと接触による局所変形を同時に捉える。データセットは、41台のカメラと両手の触覚グリッパーを備えたセットアップで収集され、198物体・1,980シーケンスの多様なインタラクションを含む。評価では、2Dビデオモデルと3Dパーティクルモデルを同一データで学習・比較する。

4. どうやって有効だと検証した？

有効性の検証は、まずデータセットの規模と多様性を提示し、次に現在の最先端ワールドモデル（2Dビデオモデルと3Dパーティクルモデル）を体系的に評価することで行った。さらに、変形物体に対するロボットプランニングタスクを実行し、データセットの実世界適用可能性を示す予備実験を実施した。具体的な評価指標や比較結果の詳細は要旨からは不明だが、分析により構造的先行知識とスケーラビリティのトレードオフに関する洞察が得られたと述べている。

5. 議論はある？

要旨からは、2Dモデルと3Dモデルの比較から得られた洞察（構造的先行知識とスケーラビリティのトレードオフ）が議論されている。しかし、具体的な議論の内容や限界については要旨からは不明である。また、データセットの収集条件やトラッキングパイプラインの精度、実世界適用の際の課題などについての詳細な議論は記載されていない。

6. 次に読むべき論文は？

要旨で参照・比較されている研究は、2Dビデオモデルと3Dパーティクルモデルに基づくワールドモデルである。具体的な論文名は挙げられていないが、関連する分野として、変形物体操作のためのダイナミクス予測、視触覚センシング、3Dトラッキング、ロボットプランニングなどが挙げられる。次に読むべき論文としては、これらの分野の代表的な研究（例：変形物体の粒子ベースダイナミクスモデル、視触覚融合による物体表現学習など）が考えられるが、要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Li, Wanjia Fu, Xiaoyan Cong, Zekun Li, Binghao Huang, Hanxiao Jiang, Xintong He, Yiqing Liang, Rao Fu, Tao Lu, Srinath Sridhar, Kevin A. Smith, George Konidaris, Yunzhu Li

分類: cs.RO, cs.CV

原文アブストラクト

Predicting object dynamics (i.e., world modeling) is a fundamental challenge for robotic manipulation, and modeling deformable objects presents a particularly difficult case due to their high-dimensional state spaces and complex material properties. While current world models approach this through two distinct paradigms: learning the dynamics over the 2D pixel space or more explicit 3D geometric space. A systematic understanding of their relative strengths and limitations remains elusive due to the lack of diverse, large-scale real-world data. To address this, we present Deform360, a large-scale visuotactile dataset featuring 198 daily-life objects, 1,980 interaction sequences, and over 215 hours of observations from 41 surround-view cameras and bimanual tactile grippers to capture both global motion and contact-induced local deformations. Leveraging a novel markerless visuotactile 3D tracking pipeline to extract dense geometry and motion, we systematically evaluate current state-of-the-art world models, comparing 2D video models against 3D particle models. Finally, we provide a preliminary demonstration indicating the real-world applicability of our dataset by performing robot planning tasks on deformable objects. Our analysis reveals key insights into the trade-offs between structural priors and scalability, providing a solid benchmark for future research in generalizable deformable object-centric world modeling. Project website: https://deform360.lhy.xyz

arXivで原文を読む →arXiv概要ページ

← 論文一覧