マニピュレーション2025/11/1arXiv:2511.07416

物理世界モデルからのロボット学習

Robot Learning from a Physical World Model

動画生成モデルと物理世界再構成を組み合わせ、実機データなしでゼロショットのロボットマニピュレーションを実現するフレームワークPhysWorldを提案。

詳しい要約

1. どんなもの？

- ロボット学習のためのフレームワーク「PhysWorld」を提案する研究 - 言語コマンドと単一画像から video generation を行い、物理世界モデルを介してロボットの行動を学習させる - 実ロボットデータ収集を必要とせず、zero-shot で汎化可能な manipulation を目指す - 生成された video の pixel 動作を直接ロボットに retarget するのではなく、物理的に正確な行動へ接地させる点が特徴

2. 先行研究と比べてどこがすごい？

- 近年の video generation モデルは言語と画像から写実的な視覚デモを生成できるが、ロボティクスの訓練信号としては十分に活用されていなかった - 生成 video の pixel 動作をそのままロボットへ retarget する従来手法は物理を無視し、不正確な manipulation を招く - PhysWorld は video generation と physical world reconstruction を結合し、暗黙の視覚ガイダンスを物理的に実行可能な軌道へ変換する - 実ロボットデータ収集を不要にしつつ zero-shot 汎化を可能にする点が先行研究との差異

3. 技術・手法の肝は？

- 単一画像とタスクコマンドを入力とし、タスク条件付きの video を生成する - 生成 video から underlying な physical world を再構成する - object-centric residual reinforcement learning と physical world model により、生成 video の動きを物理的に正確な行動へ接地させる - これにより視覚的ガイダンスを物理的に実行可能なロボット軌道へ変換する

4. どうやって有効だと検証した？

- 多様な実世界タスクでの実験を実施 - 従来手法と比較して manipulation accuracy が大幅に向上することを示す - 詳細な実験設定・評価指標・タスク数は要旨からは不明

5. 議論はある？

- 生成 video の物理的整合性や、physical world reconstruction の精度が性能に与える影響については要旨からは不明 - 実世界タスクでの汎化範囲や失敗事例、計算コストに関する議論は要旨からは不明 - 実ロボットデータ不要という主張の限界や前提条件は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として video generation を用いたロボット学習、video-based robot learning、residual reinforcement learning、physical world model に関する論文を次に読むべき - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiageng Mao, Sicheng He, Hao-Ning Wu, Yang You, Shuyang Sun, Zhicheng Wang, Yanan Bao, Huizhong Chen, Leonidas Guibas, Vitor Guizilini, Howard Zhou, Yue Wang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

We introduce PhysWorld, a framework that enables robot learning from video generation through physical world modeling. Recent video generation models can synthesize photorealistic visual demonstrations from language commands and images, offering a powerful yet underexplored source of training signals for robotics. However, directly retargeting pixel motions from generated videos to robots neglects physics, often resulting in inaccurate manipulations. PhysWorld addresses this limitation by coupling video generation with physical world reconstruction. Given a single image and a task command, our method generates task-conditioned videos and reconstructs the underlying physical world from the videos, and the generated video motions are grounded into physically accurate actions through object-centric residual reinforcement learning with the physical world model. This synergy transforms implicit visual guidance into physically executable robotic trajectories, eliminating the need for real robot data collection and enabling zero-shot generalizable robotic manipulation. Experiments on diverse real-world tasks demonstrate that PhysWorld substantially improves manipulation accuracy compared to previous approaches. Visit \href{https://pointscoder.github.io/PhysWorld_Web/}{the project webpage} for details.

arXivで原文を読む →arXiv概要ページ

物理世界モデルからのロボット学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell