日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.29409

CLaD: クロスモーダル潜在ダイナミクスによる接地された先見性を用いた計画

CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作における運動学的遷移と意味的遷移を、非対称クロスアテンションで統合し、自己教師あり学習で接地された潜在先見性を予測して拡散ポリシーを条件付けるフレームワークを提案。LIBERO-LONGで94.7%の成功率を達成。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための計画フレームワーク CLaD を提案。 - 固有感覚(proprioceptive)と意味(semantic)の状態が行動下で共に進化する様子をモデル化。 - 非対称 cross-attention で kinematic transitions が semantic transitions を query する。 - 予測された grounded latent foresight を観測で変調し、diffusion policy で行動生成。

2. 先行研究と比べてどこがすごい?

- 既存手法は semantic または latent 空間のいずれかで計画し、cross-modal transitions を明示的に整合しない。 - CLaD は kinematic と semantic の遷移を非対称 cross-attention で結合。 - LIBERO-LONG で 94.7% の成功率を達成し、大規模 VLA と競合しつつパラメータ数は大幅に少ない。

3. 技術・手法の肝は?

- 非対称 cross-attention により kinematic transitions が semantic transitions を query。 - 自己教師あり目的と EMA target encoders、補助 reconstruction losses で grounded latent foresight を予測。 - 表現崩壊を防ぎつつ、予測を観測可能な状態に固定。 - 予測 foresight を観測で変調し、diffusion policy の条件付けに使用。

4. どうやって有効だと検証した?

- LIBERO-LONG ベンチマークで評価。 - 成功率 94.7% を達成。 - 大規模 VLA と競合する性能を、大幅に少ないパラメータで実現。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として diffusion policy、VLA (Vision-Language-Action) モデル、EMA target encoders を用いる自己教師あり学習、LIBERO-LONG ベンチマークが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrew Jeong, Jaemin Kim, Sebin Lee, Sung-Eui Yoon

分類: cs.RO

原文アブストラクト

Robotic manipulation involves kinematic and semantic transitions that are inherently coupled via underlying actions. However, existing approaches plan within either semantic or latent space without explicitly aligning these cross-modal transitions. To address this, we propose CLaD, a framework that models how proprioceptive and semantic states jointly evolve under actions through asymmetric cross-attention that allows kinematic transitions to query semantic ones. CLaD predicts grounded latent foresights via self-supervised objectives with EMA target encoders and auxiliary reconstruction losses, preventing representation collapse while anchoring predictions to observable states. Predicted foresights are modulated with observations to condition a diffusion policy for action generation. On LIBERO-LONG benchmark, CLaD achieves 94.7\% success rate, competitive with large VLAs with significantly fewer parameters.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI