日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2610.31474

骨格に基づく潜在行動モデルによるロボット世界モデル

Skeleton-Grounded Latent Action Model for Robot World Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット骨格の監督信号で潜在行動を運動学的成分と残差成分に分解し、制御可能なロボット世界モデルを実現した研究。

詳しい要約

1. どんなもの?

- ロボット行動に応じた環境変化を予測する robot world model のための手法 SkeLAM を提案した研究。 - ビデオから latent action を学習する際、再構成駆動型の latent action がロボット運動と物体応答・その他のシーン変化を混在させ、ロボット制御との対応が曖昧になる問題に対処する。 - latent action を、robot skeleton の supervision で接地される kinematic 成分と、補完的な視覚ダイナミクスを保持する residual 成分に分解する。 - world model は両成分を別々の conditioning pathway で取り込み、推論時は現在の観測と robot actions から将来観測を生成する。

2. 先行研究と比べてどこがすごい?

- 従来の reconstruction-driven latent action model は視覚遷移を proxy action として符号化するが、ロボット運動と物体応答・シーン変化が混ざり制御との対応が不明瞭だった。 - SkeLAM は robot skeleton supervision で kinematic 成分を接地し、residual 成分と分離することで、制御可能な world modeling を狙う点が新しい。 - DROID 上で DreamDojo と比較し、end-effector ADE を 19.5%、LPIPS を 11.1% 低減したと報告。 - 生成 rollouts における zero-shot human-to-robot motion transfer や、予測成功率と実機成功率の一致も示す。

3. 技術・手法の肝は?

- latent action を kinematic 成分と residual 成分に分解する設計が肝。 - kinematic 成分は robot skeleton supervision により接地される。 - cross-modal swap reconstruction により、RGB 由来と skeleton 由来の kinematic 表現をビデオ再構成中に交換可能にすることを促す。 - world model は両成分を separate conditioning pathways で取り込み、branch dropout により future-derived residual 情報への依存を低減する。 - lightweight adapter が robot actions を kinematic space に写像し、その後の world-model fine-tuning で生成を予測条件に適応させる。

4. どうやって有効だと検証した?

- DROID 上で DreamDojo と比較し、end-effector ADE 19.5% 減、LPIPS 11.1% 減を報告。 - motion probing により kinematic specialization を支持する結果を示す。 - 定性結果として、生成 rollouts における zero-shot human-to-robot motion transfer を提示。 - policy evaluation において、予測成功率と実ロボット実行で測定した成功率の一致を示す。

5. 議論はある?

- 要旨からは不明。 - ただし、residual 成分への依存を branch dropout で抑える設計や、予測成功率と実機成功率の一致といった評価結果から、latent action の分解と制御接地の妥当性が議論の焦点と考えられる。 - 限界や失敗事例、計算コスト、skeleton supervision の依存性などは要旨からは不明。

6. 次に読むべき論文は?

- DreamDojo(本論文で比較対象の world model) - reconstruction-driven latent action model に関する先行研究(個別名は要旨からは不明) - robot skeleton supervision を用いた motion/kinematic 表現学習の関連研究(個別名は要旨からは不明) - DROID データセットを用いた robot world model / policy evaluation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qi Lv, Jiayi Lin, Yuxin Jiang, Jianzong Wang, Xiang Deng, Mike Shou Zheng

分類: cs.RO

原文アブストラクト

Robot world models simulate how environments evolve in response to robot actions. Latent action models enable learning dynamics from videos by encoding visual transitions as proxy actions. However, reconstruction-driven latent actions mix robot motion with object responses and other scene changes, complicating their correspondence with robot controls. We propose SkeLAM, a skeleton-guided latent action model for controllable robot world modeling. SkeLAM decomposes latent actions into a kinematic component grounded by robot skeleton supervision and a residual component retaining complementary visual dynamics. Cross-modal swap reconstruction encourages RGB-derived and skeleton-derived kinematic representations to be interchangeable during video reconstruction. The world model incorporates both components through separate conditioning pathways, while branch dropout reduces its dependence on future-derived residual information. A lightweight adapter maps robot actions to the kinematic space, and subsequent world-model fine-tuning adapts generation to these predicted conditions. At inference, the model generates future observations from the current observation and robot actions. On DROID, SkeLAM reduces end-effector ADE by 19.5% and LPIPS by 11.1% compared with DreamDojo. Motion probing supports kinematic specialization, while qualitative results demonstrate zero-shot human-to-robot motion transfer in generated rollouts. Policy evaluation shows agreement between predicted success rates and those measured in real robot executions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI