日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2606.04463

OSCAR: ロボット工学のための全身体動作条件付きワールドモデル

OSCAR: Omni-Embodiment Action-Conditioned World Model for Robotics

シェア:XThreadsFacebookLINEはてブBluesky

ロボットのポリシー評価を可能にする、異なるロボット形態に汎化する高精度な動作条件付きビデオワールドモデルを提案した。大規模データパイプラインと2D骨格表現を用いて、実世界評価と相関する仮想評価を実現した。

詳しい要約

1. どんなもの?

- ロボットの embodiment をまたいで汎化する action-conditioned な video world model『OSCAR』を提案。 - ロボット policy の評価を仮想生成世界で行うことを可能にする。 - 大規模な standardized data pipeline でロボティクスと egocentric human のデータセットを統合し、joint-training 用のクリーンなデータを構築。 - 2D kinematic skeleton rendering を統一 conditioning 表現として採用。 - Cosmos-Predict2.5-2B を単一の GH200 GPU で finetune。

2. 先行研究と比べてどこがすごい?

- 既存の video world model は、ロボット訓練データの scenario 多様性不足、action 追従の不正確さ、embodiment 間の汎化性能の低さという課題があった。 - OSCAR は action following、appearance quality、motion consistency で既存 baseline を大幅に改善。 - 比較対象の baseline はより大きなモデルサイズやより多くの GPU を必要とするのに対し、OSCAR は単一 GH200 GPU で finetune 可能。 - 異なる robot arms や human hands にも汎化する統一 conditioning を実現。

3. 技術・手法の肝は?

- 大規模 standardized data pipeline により、広範な robotics および egocentric human データセットを curate、filter、deduplicate し、多様なタスク・シナリオ・action・embodiment を含む joint-training dataset を構築。 - 2D kinematic skeleton rendering を統一 conditioning 表現として採用し、異なる robot arms や human hands に汎化。 - Cosmos-Predict2.5-2B モデルを単一の GH200 GPU 上で finetune。 - action-conditioned video world model として、action に基づく将来映像を生成。

4. どうやって有効だと検証した?

- action following、appearance quality、motion consistency の指標で既存 baseline と比較し、大幅な改善を確認。 - OSCAR を RoboArena の robot policy 評価に展開。 - 仮想 policy 評価と実世界評価の間に有意な相関があることを広範な実験で示した。

5. 議論はある?

- 仮想生成世界で robot policy を純粋に評価できる未来への道を開く可能性を示唆。 - 限界や課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- Cosmos-Predict2.5-2B - RoboArena - その他の action-conditioned video world model や robot policy evaluation に関する研究(要旨で具体的に参照されていないため、同分野の関連手法を挙げる)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuoyuan Wu, Jun Gao

分類: cs.RO

原文アブストラクト

We present OSCAR, a precise action-conditioned video world model that generalizes across different robot embodiments and enables robot policy evaluation. Existing video world models face three main challenges for real-world robot evaluation: limited scenario diversity in current robot training datasets, imprecise action following, and poor generalization across embodiments for broad adoption. We tackle these challenges from two perspectives. At its core is a large-scale standardized data pipeline that curates, filters, and deduplicates broad robotics and egocentric human datasets, yielding a clean joint-training dataset that spans diverse tasks, scenarios, actions, and robot embodiments. To condition the video model, we adopt 2D kinematic skeleton rendering as a unified conditioning representation that generalizes across different robot arms or even human hands. We finetune the Cosmos-Predict2.5-2B model on a single GH200 GPU. Our model achieves significant improvement on action following, appearance quality, and motion consistency, compared to existing baselines, which either have a much larger model size or require more GPUs. We further deploy OSCAR to evaluate robot policies from RoboArena. Extensive experiments demonstrate the significant correlation between our virtual policy evaluation in OSCAR and real-world evaluation, paving the way for the future where robot policies can be purely evaluated in virtual generated worlds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI