日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2607.22535

ロボット描画によるロボット因子化ワールドモデル

Robot-Factored World Models via Robot Rendering

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの動作をワールドモデルから分離し、ロボットの軌道をURDFで描画して視覚入力に組み込むことで、物体の応答予測に特化した新しいワールドモデルを提案した。

詳しい要約

1. どんなもの?

本論文は、ロボット操作のためのaction-conditioned video world modelを提案する。従来のworld modelはaction commandを直接条件として未来の観測を予測するが、ロボットの動作はコマンドがロボット本体とコントローラによって実現され、その後シーンが接触や物体の動きで応答するという2段階のプロセスを経る。提案手法は、ロボット固有の要素をworld modelの外に移す「robot-factored world models」を導入する。具体的には、action realizationをロボットのコントローラとキネマティクスを通してnominal trajectoryに変換し、robot renderingとしてURDFを用いてロボットの幾何学をレンダリングする。これにより、world modelはロボットの見た目を直接観測し、物体の応答を学習する。

2. 先行研究と比べてどこがすごい?

従来の手法は、action commandを直接条件としてworld modelに与えるため、ロボットの動作実現プロセス自体を学習する必要があった。また、ログされた未来の状態を条件にすると、予測すべき相互作用の結果が漏れてしまう。提案手法は、nominal trajectoryを中間信号として用いることで、action realizationの学習を回避し、future-state leakageを防ぐ。さらに、ロボットの幾何学をURDFからレンダリングすることで、ロボットの外観やキネマティクスをモデルから分離し、視点やロボットの種類が変わっても一貫した視覚的インターフェースを提供する点が新しい。

3. 技術・手法の肝は?

手法の核は、ロボット固有の2つの要素をworld modelの外に出すこと。第一に、action realization: 各コマンドをロボットのコントローラとキネマティクスで展開し、nominal trajectoryを生成する。これは、action-realization学習を避け、future-state leakageを防ぐ中間信号である。第二に、robot rendering: nominal trajectoryをURDFでレンダリングし、ロボットの幾何学、キネマティクス、外観をモデルから分離する。深度の曖昧さを解消するため、エンドエフェクタの深度とシーン深度をペアにし、接触や遮蔽の幾何学的手がかりを得る。カメラ認識の静的RGB/depthコンテキストとレンダリングされたロボット幾何学が、視点やロボットの種類を超えて一貫した共有視覚world-modelインターフェースを形成する。

4. どうやって有効だと検証した?

実験では、提案手法がvector-conditionedベースラインを上回る性能を示し、推論時に未知のロボットembodimentへ一般化できることを確認した。さらに、人間のデモンストレーションから手の動きをリターゲティングしてロボット幾何学としてレンダリングすることで、ロボット操作ビデオを生成できることを実証した。

5. 議論はある?

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、ロボットの外観をレンダリングするため、正確なURDFとカメラパラメータが必要であり、実環境での適用には較正が重要になる可能性が考えられる。また、nominal trajectoryは実際のロボット動作と異なる場合があり、その誤差が予測に影響する可能性があるが、要旨では言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、action-conditioned video world models、robot manipulation、human demonstrationからの学習などが挙げられる。具体的には、World ModelsやVideo Prediction Models、Robot Learningの分野の論文が関連する。次に読むべき論文としては、"Action-Conditioned Video Prediction"や"Robot Manipulation with World Models"などの一般的な研究が考えられるが、要旨に明示的な参照がないため、同分野の定番を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Byungjun Kim, Taeksoo Kim, Hyunsoo Cha, Hanbyul Joo

分類: cs.RO, cs.CV

原文アブストラクト

Action-conditioned video world models predict future observations from an initial observation and an action signal. In robotics, actions influence future observations through two distinct processes: they are first realized into robot motion by the robot body and controller, and the scene then responds through contact and object motion. Conditioning directly on action commands asks the world model to learn the realization process itself, while conditioning on logged future states leaks the interaction outcomes it is meant to predict. We propose robot-factored world models, which move two robot-specific factors outside the world model. First, action realization: each command is rolled through the robot's own controller and kinematics into a deployment-available nominal trajectory, a middle signal that avoids both action-realization learning and future-state leakage. Second, robot rendering: this nominal trajectory is rendered through the robot URDF, factoring the robot's geometry, kinematics, and appearance out of the model and into explicit rendered robot geometry. To resolve depth ambiguity, we pair end-effector depth with scene depth, giving geometric cues for contact and occlusion beyond image-plane overlap. Together, camera-aware static RGB/depth context and rendered robot geometry form a shared visual world-model interface that stays consistent across viewpoints and robot embodiments, so the model sees the action only as visible robot geometry and learns how objects respond to it. Our experiments show that the rendered interface outperforms vector-conditioned baselines and generalizes to unseen robot embodiments at inference. We further demonstrate that our model generates robot manipulation videos from human demonstrations by retargeting and rendering the hand motion as robot geometry.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI