日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2610.13522

成功実演を超えて:人間とのインタラクションと失敗ダイナミクスの学習

Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画と失敗ダイナミクスを活用し、点群フローで身体差を埋めつつGRPOで事後学習する行動条件付きワールドモデルHF-WMを提案。

詳しい要約

1. どんなもの?

- ロボットの行動条件付き world model の研究。 - 名称は HF-WM。 - Human interaction learning と Failure-aware post-training を組み合わせる。 - 人間の egocentric 動画とロボットデータの embodiment gap を埋める。 - 成功実演に偏るデータで failure dynamics を学習する。

2. 先行研究と比べてどこがすごい?

- 既存のロボットデータセットは多様な interaction dynamics の被覆が限定的。 - 大規模 egocentric human videos は補完的だが embodiment gap が障壁。 - 成功実演が支配的で failure dynamics が過少表現。 - HF-WM は人間とロボットの interaction を統合し failure をモデル化。 - 行動条件付き video generation で SOTA を達成。

3. 技術・手法の肝は?

- dual-branch framework で video generation と auxiliary pointflow prediction を結合。 - stabilized pointflow を人間とロボットの統一 motion representation として使用。 - egocentric camera motion を抑制。 - 成功実演から perturbed actions を生成。 - GRPO post-training を action alignment と physical plausibility rewards で実施。 - ペアの ground-truth videos なしで failure dynamics を学習。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - action-conditioned video generation で state-of-the-art 性能を達成。 - 下流のロボットタスクにおける policy evaluation で強い有用性を示す。 - 具体的なデータセットやベースラインは要旨からは不明。

5. 議論はある?

- 人間とロボットの embodiment gap の克服が課題。 - 成功実演に偏るデータでの failure dynamics 学習の難しさ。 - ペアの ground-truth videos なしでの failure 学習の有効性。 - 具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として action-conditioned world models、egocentric human videos、GRPO、pointflow が挙げられる。 - 同分野の定番として robot learning、imitation learning、video generation の論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Tu, Cong Wang, Hanxin Zhu, Xin Jin, Zhibo Chen

分類: cs.RO, cs.CV

原文アブストラクト

Action-conditioned world models offer a promising foundation for generalist robotic intelligence by predicting the consequences of actions. However, existing robotic datasets provide limited coverage of the diverse interaction dynamics required for generalizable world modeling. Large-scale egocentric human videos offer complementary interaction experience, yet the embodiment gap between human hands and robotic manipulators hinders effective cross-embodiment learning. Meanwhile, the predominance of successful demonstrations leaves failure dynamics substantially underrepresented, limiting the ability of world models to anticipate unsuccessful executions. To address these limitations, we introduce HF-WM, an action-conditioned world model that combines Human interaction learning with Failure-aware post-training. To bridge the embodiment gap, we develop a dual-branch framework that couples video generation with auxiliary pointflow prediction, using stabilized pointflow as a unified motion representation across human and robot interactions while suppressing egocentric camera motion. To improve failure modeling, we further perform Group Relative Policy Optimization (GRPO) post-training on perturbed actions derived from successful demonstrations, guided by action alignment and physical plausibility rewards, enabling the model to learn plausible failure dynamics without paired ground-truth videos. Extensive experiments demonstrate that HF-WM achieves state-of-the-art performance in action-conditioned video generation and exhibits strong utility for policy evaluation in downstream robotic tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI