日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2607.22530

ViTacWorld: 接触の多いロボット操作のための視覚-触覚ワールドモデルのスケーリング

ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実データとシミュレーションを組み合わせて視覚・触覚・動作データを大規模に収集し、動作条件付きで視覚と触覚のフィードバックを予測するワールドモデルを構築。これにより接触の多い操作タスクのポリシー改善と評価を実現する。

詳しい要約

1. どんなもの?

ViTacWorldは、接触を伴うロボット操作のための、行動条件付き視覚-触覚ワールドモデルである。実世界の触覚データセットと構築したシミュレーション環境を活用して視覚-触覚-行動データを大規模に収集し、モデルを事前学習する。その後、実世界のポリシーロールアウトでファインチューニングする。ロボットの行動が与えられると、時間的に整合した視覚観測と触覚フィードバックを予測し、視覚-触覚-行動のロールアウト生成を可能にする。

2. 先行研究と比べてどこがすごい?

触覚センシングはカメラでは見えない物理的相互作用の手がかりを提供するが、実世界の触覚データは収集コストが高く、ハードウェア依存で、タスクやシーンの多様性が限られるため、視覚-触覚ロボット学習のスケーリングは困難だった。ViTacWorldは、公開実触覚データセットとシミュレーション環境を組み合わせてデータをスケールし、触覚信号が物理的接触に直接基づくため視覚観測よりもシミュレーションから実世界へのギャップが小さいことを利用する。さらに、ワールドモデルを視覚-触覚-行動軌道生成とポリシー評価に用いた最初のフレームワークである点が新しい。

3. 技術・手法の肝は?

手法の肝は、大規模な実・シミュレーションの視覚-触覚軌道で事前学習し、実世界のポリシーロールアウトでファインチューニングする2段階の学習パイプラインである。モデルは行動条件付きで視覚観測と触覚フィードバックを予測し、視覚-触覚-行動のロールアウト生成を実現する。触覚信号のsim-to-realギャップが小さいことを利用して、シミュレーションデータを効果的に活用する点も重要である。

4. どうやって有効だと検証した?

接触を伴う操作タスクの実験で、ViTacWorldが物理的に意味のあるロールアウトを生成できること、スケーラブルなデータ拡張を通じて下流の触覚ポリシーの性能を向上させること、行動条件付きのポリシー評価を可能にすることを検証した。

5. 議論はある?

要旨からは、シミュレーションと実世界のギャップが完全に解消されるわけではないことや、ハードウェア依存性の影響、データセットの多様性の限界などが議論の余地として考えられるが、具体的な議論は要旨に記載されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、視覚-触覚学習のためのデータセットや、ワールドモデルを用いたロボット操作の研究(例:World Models, Dreamer)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunao Huang, Shiyu Sang, Haotao Lu, Suting Ni, Shijie Wu, Ziyang Guo, Ye Shi, Jingya Wang

分類: cs.RO

原文アブストラクト

Contact-rich robot manipulation requires physical interaction cues that are often invisible to cameras, making tactile sensing essential for robust control. However, scaling visuo-tactile robot learning remains difficult because real tactile interaction data are expensive to collect, hardware-dependent, and limited in task and scene diversity. We present ViTacWorld, an action-conditioned visuo-tactile world model for scalable contact-rich robot manipulation. ViTacWorld leverages public real tactile datasets and a constructed simulation environment to scale visuo-tactile-action data, exploiting the fact that tactile signals are directly grounded in physical contact and can exhibit a smaller simulation-to-real gap than purely visual observations. The model is first pretrained with large-scale real and simulated visuo-tactile trajectories, and then finetuned with real-world policy rollouts to better match downstream manipulation behaviors. Given robot actions, ViTacWorld predicts temporally aligned visual observations and tactile feedback, enabling visuo-tactile-action rollout generation. To the best of our knowledge, ViTacWorld is the first framework that uses a world model for robot visuo-tactile-action trajectory generation and policy evaluation. It serves two roles: synthesizing rollouts to improve downstream tactile policies, and evaluating policies by predicting action-conditioned visuo-tactile outcomes under controlled action sequences. Experiments on contact-rich manipulation tasks show that ViTacWorld generates physically meaningful rollouts, improves policy performance through scalable data augmentation, and enables action-conditioned policy evaluation. Project page: https://vitacworld.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI