日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2505.19017

WorldEval: 世界モデルを実世界ロボット方策の評価器として活用

WorldEval: World Model as Real-World Robot Policies Evaluator

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを実世界ロボット方策の評価代理として用いるWorldEvalを提案し、Policy2Vecで行動追従動画を生成して方策ランキングや安全性検出を実現した。

詳しい要約

1. どんなもの?

- 実世界の robot manipulation policy を評価するための、world model を用いた自動評価パイプライン WorldEval を提案する研究。 - world model を実世界 policy 評価の scalable・reproducible・reliable な proxy として使えることを示す。 - 実世界での評価は時間コストが大きく、タスク数や環境条件の変化に対応しづらいという課題に対処する。

2. 先行研究と比べてどこがすごい?

- 実世界での policy 評価の代替として world model を評価器に用いる点を主張。 - 既存の人気手法である real-to-sim approach と比較して、本手法が大幅に優れると報告。 - 直接 action を入力する方法や高次元 encoding を用いる方法では action-following な動画生成が難しいという課題を示す。

3. 技術・手法の肝は?

- Policy2Vec を提案。video generation model を world simulator 化し、latent action に従って robot video を生成する簡便かつ有効な手法。 - 直接 robot action を入力する方法や高次元 encoding では action-following 動画が得られにくいという観察に基づく。 - WorldEval は実世界 robot policy を完全 online で評価する自動パイプラインとして構成される。

4. どうやって有効だと検証した?

- 実世界環境における manipulation policy の包括的な paired evaluations を実施。 - WorldEval 上の policy 性能と実世界シナリオの性能に強い相関があることを示す。 - WorldEval が多様な robot policy や単一 policy 内の checkpoint を ranking できること、危険行動を防ぐ safety detector として機能することを示す。

5. 議論はある?

- world model による評価が実世界評価の proxy として有効である一方、生成動画が robot action を忠実に反映する必要がある点が重要。 - 直接 action 入力や高次元 encoding の限界が議論の出発点。 - 具体的な限界や失敗ケース、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- real-to-sim approach に関する研究。 - video generation model を用いた world simulator / world model 研究。 - latent action を用いた robot video 生成や policy 評価に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaxuan Li, Yichen Zhu, Junjie Wen, Chaomin Shen, Yi Xu

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

The field of robotics has made significant strides toward developing generalist robot manipulation policies. However, evaluating these policies in real-world scenarios remains time-consuming and challenging, particularly as the number of tasks scales and environmental conditions change. In this work, we demonstrate that world models can serve as a scalable, reproducible, and reliable proxy for real-world robot policy evaluation. A key challenge is generating accurate policy videos from world models that faithfully reflect the robot actions. We observe that directly inputting robot actions or using high-dimensional encoding methods often fails to generate action-following videos. To address this, we propose Policy2Vec, a simple yet effective approach to turn a video generation model into a world simulator that follows latent action to generate the robot video. We then introduce WorldEval, an automated pipeline designed to evaluate real-world robot policies entirely online. WorldEval effectively ranks various robot policies and individual checkpoints within a single policy, and functions as a safety detector to prevent dangerous actions by newly developed robot models. Through comprehensive paired evaluations of manipulation policies in real-world environments, we demonstrate a strong correlation between policy performance in WorldEval and real-world scenarios. Furthermore, our method significantly outperforms popular methods such as real-to-sim approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI