日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.14427

接触の多いロボット強化学習のための自己教師ありマルチセンサ事前学習

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

マスク付きオートエンコーディングで視覚・力・固有感覚を統合する表現を事前学習し、非対称なActor-Critic構造で接触の多いマニピュレーションを効率的に学習する手法を提案。

詳しい要約

1. どんなもの?

- 接触の多いロボットマニピュレーション向けの、マルチセンサ自己教師あり事前学習フレームワーク MSDP(MultiSensory Dynamic Pretraining) - vision・force・proprioception を統合した表現を学習し、タスク指向の policy learning に用いる - masked autoencoding に基づき transformer-based encoder を訓練 - 下流の強化学習では actor と critic で非対称なアーキテクチャを採用 - シミュレーションと実機の接触リッチなタスクで評価

2. 先行研究と比べてどこがすごい?

- 従来の RL agent はマルチセンサ設定、特に sensory noise や動的な変化の下で学習が困難 - MSDP は複数モダリティの表現を事前学習することで、学習の加速と摂動下での頑健性を狙う - センサノイズや物体ダイナミクスの変化を含む多様な摂動に対して頑健な性能を示す - 実機で 6,000 回程度のオンライン相互作用で高い成功率を達成 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- masked autoencoding を用い、センサ埋め込みの一部のみからマルチセンサ観測を再構成するよう transformer-based encoder を訓練 - この再構成により cross-modal prediction と sensor fusion を促す - 下流の policy learning では非対称アーキテクチャを導入 - critic は cross-attention で凍結埋め込みから動的でタスク固有の特徴を抽出 - actor は安定した pooled representation を受け取り行動を決定 - 事前学習済み表現を凍結して下流 RL に利用

4. どうやって有効だと検証した?

- シミュレーションおよび実世界の複数の困難な接触リッチロボットマニピュレーションタスクで評価 - センサノイズや物体ダイナミクス変化などの多様な摂動下での性能を検証 - 学習の加速と頑健性、実機での高い成功率(6,000 回程度のオンライン相互作用)を報告 - 具体的なタスク名・ベースライン・指標の詳細は要旨からは不明

5. 議論はある?

- マルチセンサ表現の事前学習が接触リッチ操作の RL に有効である可能性を示唆 - 非対称な actor-critic 設計が凍結表現の活用に寄与するという主張 - 摂動に対する頑健性とサンプル効率の向上を主張 - 限界や失敗事例、計算コスト、一般化範囲についての具体的な議論は要旨からは不明

6. 次に読むべき論文は?

- masked autoencoding を用いた視覚表現事前学習(例: MAE) - マルチモーダル表現学習・cross-modal prediction に関する研究 - 接触リッチ操作のための force/tactile を用いた強化学習研究 - 実機 RL におけるサンプル効率や摂動頑健性を扱う研究 - 要旨で直接参照・比較されている個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

分類: cs.RO, cs.LG

原文アブストラクト

Effective contact-rich manipulation requires robots to synergistically leverage vision, force, and proprioception. However, Reinforcement Learning agents struggle to learn in such multisensory settings, especially amidst sensory noise and dynamic changes. We propose MultiSensory Dynamic Pretraining (MSDP), a novel framework for learning expressive multisensory representations tailored for task-oriented policy learning. MSDP is based on masked autoencoding and trains a transformer-based encoder by reconstructing multisensory observations from only a subset of sensor embeddings, leading to cross-modal prediction and sensor fusion. For downstream policy learning, we introduce a novel asymmetric architecture, where a cross-attention mechanism allows the critic to extract dynamic, task-specific features from the frozen embeddings, while the actor receives a stable pooled representation to guide its actions. Our method demonstrates accelerated learning and robust performance under diverse perturbations, including sensor noise, and changes in object dynamics. Evaluations in multiple challenging, contact-rich robot manipulation tasks in simulation and the real world showcase the effectiveness of MSDP. Our approach exhibits strong robustness to perturbations and achieves high success rates on the real robot with as few as 6,000 online interactions, offering a simple yet powerful solution for complex multisensory robotic control. Website: https://msdp-pearl.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI