日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.08657

潜在拡散ポリシー:拡散ベースロボット操作のための潜在空間の形成

Latent Diffusion Policy: Shaping Latent Spaces for Diffusion-Based Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

観測条件付きCVAEで潜在空間を整形し、フローマッチングをその空間で行う2段階フレームワークを提案。シーン理解と軌道生成を分離し、多腕協調タスクで性能を向上させた。

詳しい要約

1. どんなもの?

- 拡散ベースの視覚運動ポリシー(visuomotor policy)を、生の行動空間ではなく、意図的に整形された潜在空間でflow matchingする2段階フレームワーク。 - 観測条件付きCVAEエンコーダでシーン理解を吸収し、flowモデルは事前集中分布内で生成する。 - 潜在トークン間の時間依存性を捉えるため、per-token diffusion forcingとstaircase inference samplingを採用。 - 潜在空間統計から下流タスク成功を予測する軽量指標reconstruction FID (rFID)を提案。 - RoboTwin 2.0の協調集約タスクでDP3を大幅に上回り、実世界の双腕展開にも効果的に転移。

2. 先行研究と比べてどこがすごい?

- 従来の拡散ベース視覚運動ポリシーは生の行動空間で直接動作し、単一のdenoising過程でシーン理解と軌道生成を混同していた。 - その結果、velocity fieldがシーン情報と正確な軌道生成を同時にエンコードする必要があり、学習複雑性が増大し、複数腕間の正確な時間的協調を要するタスクでの性能が制限されていた。 - LDPは2段階フレームワークによりこの同時学習問題を簡素化し、シーン理解をCVAEエンコーダに吸収することでflowモデルがシーン依存構造を暗黙的に解決するのを回避。 - 事前集中分布内で生成することで、より滑らかなvelocity fieldを実現し、限られたデモンストレーションからの学習を容易にする。 - 具体的な先行研究名は要旨ではDP3のみが比較対象として明記されている。

3. 技術・手法の肝は?

- 2段階フレームワーク:第1段階で観測条件付きCVAEエンコーダがシーン理解を吸収し、各観測の条件付き分布を集中させる。 - 第2段階でflow matchingを意図的に整形された潜在空間で実行。flowモデルは事前集中分布内で生成し、滑らかなvelocity fieldを得る。 - 潜在トークン間の時間依存性を捉えるため、per-token diffusion forcingで訓練。 - 訓練と推論の分布不一致を解決するため、staircase inference samplingを採用。 - 潜在空間統計のみから下流タスク成功を予測する軽量プロキシとしてreconstruction FID (rFID)を提案。

4. どうやって有効だと検証した?

- RoboTwin 2.0の協調集約タスク(coordination-intensive tasks)で評価。 - LDPはDP3を大幅に上回る性能を示した。 - 実世界の双腕展開(real-world bimanual deployments)にも効果的に転移することを確認。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- 要旨では、生の行動空間での拡散ポリシーがシーン理解と軌道生成を混同する問題を指摘し、LDPがそれを簡素化することを主張。 - 潜在空間の整形によりflowモデルがシーン依存構造を暗黙的に解決するのを回避できると述べている。 - per-token diffusion forcingとstaircase inference samplingの組み合わせが分布不一致を解決するとしている。 - 限られたデモンストレーションからの学習が容易になると主張。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- DP3(Diffusion Policy 3D): 要旨で直接比較されている拡散ベースの視覚運動ポリシー。 - RoboTwin 2.0: 評価に使用された協調集約タスクのベンチマーク。 - CVAE(Conditional Variational Autoencoder): 観測条件付きエンコーダとして使用。 - flow matching: 潜在空間で実行される生成手法。 - diffusion forcing: 潜在トークンの時間依存性を捉える訓練手法。 - その他、拡散ベースのロボットマニピュレーションに関する一般的な研究(例:Diffusion Policy, Implicit Behavioral Cloningなど)が関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhexuan Zhou, Yichen Lai, Jinhao Zhang, Huizhe Li, Youmin Gong, Jie Mei

分類: cs.RO, cs.AI

原文アブストラクト

Diffusion-based visuomotor policies operating directly in raw action spaces conflate scene comprehension with trajectory generation within a single denoising process. The resulting velocity field must simultaneously encode scene information and generate precise trajectories, increasing learning complexity and limiting performance on tasks demanding precise temporal coordination across multiple arms. To simplify this joint learning problem, we introduce Latent Diffusion Policy (LDP), a two-stage framework performing flow matching in a deliberately shaped latent space. By absorbing scene understanding into an observation-conditioned CVAE encoder, LDP concentrates the conditional distribution of each observation. Consequently, the flow model avoids implicitly resolving scene-dependent structures; instead, it generates within a pre-concentrated distribution featuring a smoother velocity field, simplifying learning from limited demonstrations. Furthermore, to capture temporal dependencies among latent tokens, LDP trains with per-token diffusion forcing and employs staircase inference sampling to resolve the resulting distributional mismatch. We also propose reconstruction FID (rFID) as a lightweight proxy predicting downstream task success solely from latent space statistics. On coordination-intensive tasks from RoboTwin 2.0, LDP outperforms DP3 by a substantial margin and transfers effectively to real-world bimanual deployments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI