日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.10946

ImplicitRDP: 構造的スローファスト学習による視覚-力覚拡散ポリシー

ImplicitRDP: An End-to-End Visual-Force Diffusion Policy with Structural Slow-Fast Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚と力覚を単一ネットワークで統合し、非同期トークンを因果注意で処理する拡散ポリシーを提案。接触の多い操作タスクで高い反応性と成功率を実現した。

詳しい要約

1. どんなもの?

- 視覚と力覚を単一ネットワークで統合する end-to-end の visual-force diffusion policy「ImplicitRDP」 - 視覚による計画と力による反応制御を1つの policy 内で同時に扱う - contact-rich manipulation を対象とし、asynchronous な視覚・力トークンを処理する - Structural Slow-Fast Learning と Virtual-target-based Representation Regularization を導入 - コードと動画を公開

2. 先行研究と比べてどこがすごい?

- vision-only baseline および hierarchical baseline と比較し、contact-rich タスクで大幅に上回ると報告 - 視覚と力の周波数・情報量の差という課題に対し、単一ネットワークで計画と反応制御を両立 - hierarchical 構成ではなく streamlined な training pipeline で高い reactivity と success rate を実現 - end-to-end モデルが抱える modality collapse を正則化で緩和する点が特徴 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- Structural Slow-Fast Learning: causal attention で asynchronous な visual tokens と force tokens を同時処理 - action rate での rapid force control と action chunks の temporal coherence を両立 - Virtual-target-based Representation Regularization: force feedback を action と同じ空間に写像する補助目的 - raw force prediction より物理に根ざした強い学習信号を与える設計 - visual planning と reactive force control を単一ネットワークに統合

4. どうやって有効だと検証した?

- contact-rich タスクで extensive experiments を実施 - vision-only baseline と hierarchical baseline に対して比較評価 - reactivity と success rate の両面で優位性を報告 - streamlined な training pipeline での有効性を示す - 具体的なタスク名・データセット名・評価指標の詳細は要旨からは不明

5. 議論はある?

- 視覚と力の frequency/informational disparities の統合が中心的課題として議論 - end-to-end モデルにおける modality collapse と modality 間の重み調整の問題を指摘 - force の raw prediction ではなく action 空間への写像が有効という設計上の主張 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- vision-only baseline および hierarchical baseline の元論文(具体名は要旨からは不明) - diffusion policy 系の模倣学習研究 - visual-force 統合を扱うマルチモーダル contact-rich manipulation 研究 - causal attention を用いた slow-fast 学習の関連手法 - modality collapse やマルチモーダル正則化に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wendi Chen, Han Xue, Yi Wang, Fangyuan Zhou, Jun Lv, Yang Jin, Shirun Tang, Chuan Wen, Cewu Lu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Human-level contact-rich manipulation relies on the distinct roles of two key modalities: vision provides spatially rich but temporally slow global context, while force sensing captures rapid local contact dynamics. Integrating these signals is challenging due to their fundamental frequency and informational disparities. In this work, we propose ImplicitRDP, a unified end-to-end visual-force diffusion policy that integrates visual planning and reactive force control within a single network. We introduce Structural Slow-Fast Learning, a mechanism utilizing causal attention to simultaneously process asynchronous visual and force tokens, allowing the policy to perform rapid force control at the action rate while maintaining the temporal coherence of action chunks. Furthermore, to mitigate modality collapse where end-to-end models fail to adjust the weights across different modalities, we propose Virtual-target-based Representation Regularization. This auxiliary objective maps force feedback into the same space as the action, providing a stronger, physics-grounded learning signal than raw force prediction. Extensive experiments on contact-rich tasks demonstrate that ImplicitRDP significantly outperforms both vision-only and hierarchical baselines, achieving superior reactivity and success rates with a streamlined training pipeline. Code and videos are available at https://implicit-rdp.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI