日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.04652

KAM-WM: 潜在世界モデルからの運動学的アフォーダンスマップによるロボット操作

KAM-WM: Kinematic Affordance Maps from Latent World Models for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

凍結したビデオ世界モデルから粗い方向性の相互作用手がかりを抽出し、拡散ポリシーを条件付ける運動学的アフォーダンスマップを生成するフレームワークを提案。LIBEROとRoboTwin2.0で高い成功率を達成した。

詳しい要約

1. どんなもの?

KAM-WMは、少数のデモンストレーションからロボット操作を学習するためのフレームワークである。凍結された潜在ビデオワールドモデルから、ロールアウトやワールドモデルの微調整なしに、粗い方向性のある相互作用キューを抽出する。Flow Matching image-to-videoバックボーンを一度クエリし、その単一ステップの潜在速度をKinematic Affordance Map (KAM)として解釈する。KAMはタスク条件付きの相互作用領域と粗い運動構造を提供し、軽量なPerceiverがKAMをトークンに圧縮して、RGB観測とプロprioceptionとともに拡散ポリシーを条件付ける。

2. 先行研究と比べてどこがすごい?

従来の静的プライア(セグメンテーションマスクなど)は「どこで相互作用するか」のみをエンコードするが、KAM-WMは「相互作用がどのように始まるべきか」という方向性情報も提供する。凍結されたビデオモデルを利用することで、テスト時の将来ロールアウトのコストを回避しつつ、有用な一次の視覚プライアを提供する点が新しい。

3. 技術・手法の肝は?

手法の肝は、凍結された潜在ビデオワールドモデル(Flow Matching image-to-videoバックボーン)を一度クエリし、その単一ステップの潜在速度をKAMとして解釈することである。KAMはタスク条件付きの相互作用領域と粗い運動構造を提供する。その後、軽量なPerceiverがKAMをトークンに圧縮し、RGB観測とプロprioceptionとともに拡散ポリシーを条件付ける。ワールドモデルの微調整やロールアウトは不要である。

4. どうやって有効だと検証した?

LIBEROとRoboTwin2.0のベンチマークで評価した。LIBEROで平均成功率90.6%、RoboTwin2.0のEasy設定で65.7%、Hard設定で22.4%の成功率を達成した。また、ゼロ次マスクプライアとの対照比較を行い、方向性情報が空間的定位だけによる利得の一部を説明することを示した。

5. 議論はある?

要旨からは、方向性情報の利得が空間的定位だけによるものではないことが示唆されるが、その他の要因や限界については不明である。また、評価された設定において凍結ビデオモデルが有用であるとしているが、他のタスクや環境での汎用性については議論されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Flow Matching image-to-videoバックボーン、拡散ポリシー、LIBERO、RoboTwin2.0が挙げられる。次に読むべき論文としては、これらの手法の基盤となった論文や、ビデオワールドモデルを制御に利用する他の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Shao, Keru Zhou, Guowei Huang, Yajun Gao, Tongtong Cao, Xiu Li

分類: cs.RO

原文アブストラクト

Learning manipulation from few demonstrations requires visual priors that capture not only where to interact, but also how the interaction should begin; static priors such as segmentation masks encode only the former. We present KAM-WM, a framework that extracts a coarse directional interaction cue from a frozen latent video world model without rollout or world-model fine-tuning. KAM-WM queries a Flow Matching image-to-video backbone once and interprets its single-step latent velocity as a Kinematic Affordance Map (KAM), which provides task-conditioned interaction regions and coarse motion structure. A lightweight Perceiver compresses KAM into tokens that condition a diffusion policy together with RGB observations and proprioception. Across LIBERO and RoboTwin2.0, KAM-WM reaches 90.6% average success on LIBERO and achieves 65.7% and 22.4% success rates in the Easy and Hard settings on RoboTwin2.0, respectively. Controlled comparisons against a zero-order mask prior suggest that part of the gains comes from directional information beyond spatial localization alone. These results indicate that, in the evaluated settings, a frozen video model can provide a useful first-order visual prior for control without the test-time cost of future rollout.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI