日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/ワールドモデルarXiv:2604.19092

ロボット操作におけるワールドモデル評価のためのベンチマーク RoboWM-Bench

RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作タスクに特化した、ビデオワールドモデルの物理的実行可能性を評価するベンチマークを提案。生成動画を実行動作に変換し、シミュレーションで検証する。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおけるvideo world modelsを評価するベンチマーク - 生成された人間の手やロボットのマニピュレーション動画をembodied action sequencesに変換 - 物理シミュレーション環境で実行し、実行可能性を検証 - real-to-sim scene reconstructionと多様なタスクに基づく - 標準化・再現可能・スケーラブルな評価を可能にする

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは視覚品質や物理的妥当性を評価するが、予測行動が実行可能な行動に変換されタスクを完了できるかは体系的に評価していない - RoboWM-Benchはembodiment-grounded評価を提供し、物理的実行可能性を標準化して評価 - 視覚的もっともらしさとembodied executabilityが常に一致するとは限らないことを示す - よりきめ細かいモデル能力の見方を提供

3. 技術・手法の肝は?

- 生成された人間の手およびロボットのマニピュレーション動画をembodied action sequencesに変換 - 物理的に根拠のあるシミュレーション環境で実行して検証 - real-to-sim scene reconstructionを基盤とする - 多様なマニピュレーションタスクを含む - 標準化・再現可能・スケーラブルな評価を実現

4. どうやって有効だと検証した?

- RoboWM-Benchを用いて最先端のvideo world modelsを評価 - 視覚的もっともらしさとembodied executabilityが常に一致しないことを観察 - 実行性能に影響する要因としてspatial reasoning、contact prediction、非物理的幾何学的歪みを特定 - 特に複雑で長期的なinteractionsで顕著 - これにより現在のモデル能力のよりきめ細かい見方を提供

5. 議論はある?

- 視覚的もっともらしさとembodied executabilityの不一致が重要な発見 - 実行性能に影響する再発要因:spatial reasoning、contact prediction、非物理的幾何学的歪み - 複雑で長期的なinteractionsで特に問題 - embodiment-aware評価の価値を強調し、物理的に根拠のあるworld modelingを導く - 具体的な議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてvideo world models、real-to-sim scene reconstruction、embodied action sequences、物理シミュレーション環境が挙げられる - 同分野の定番としてworld models、model-based reinforcement learning、robot learning from videoが考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Feng Jiang, Yang Chen, Kyle Xu, Yuchen Liu, Haifeng Wang, Zhenhao Shen, Jasper Lu, Shengze Huang, Yuanfei Wang, Chen Xie, Ruihai Wu

分類: cs.RO, cs.AI

原文アブストラクト

Recent advances in large-scale video world models have enabled increasingly realistic future prediction, raising the prospect of using generated videos as scalable supervision for robot learning. However, for embodied manipulation, perceptual realism alone is not sufficient: generated interactions must also be physically consistent and executable by robotic agents. Existing benchmarks provide valuable assessments of visual quality and physical plausibility, but they do not systematically evaluate whether predicted behaviors can be translated into executable actions that complete manipulation tasks. We introduce RoboWM-Bench, a manipulation-centric benchmark for embodiment-grounded evaluation of video world models. RoboWM-Bench converts generated human-hand and robotic manipulation videos into embodied action sequences and validates them through execution in physically grounded simulation environments. Built on real-to-sim scene reconstruction and diverse manipulation tasks, RoboWM-Bench enables standardized, reproducible, and scalable evaluation of physical executability. Using RoboWM-Bench, we evaluate state-of-the-art video world models and observe that visual plausibility and embodied executability are not always aligned. Our analysis highlights several recurring factors that affect execution performance, including spatial reasoning, contact prediction, and non-physical geometric distortions, particularly in complex and long-horizon interactions. These findings provide a more fine-grained view of current model capabilities and underscore the value of embodiment-aware evaluation for guiding physically grounded world modeling in robotic manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI