日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2505.11858

モデルベース制御と強化学習の統合による狭公差挿入のSim2Real転移

Integrating Model-based Control and RL for Sim2Real Transfer of Tight Insertion Policies

シェア:XThreadsFacebookLINEはてブBluesky

ポテンシャル場制御によるモデルベース方策と残差強化学習を組み合わせ、シミュレーションのみで訓練した狭公差挿入方策を実機にゼロショット転移する手法を提案。

詳しい要約

1. どんなもの?

- タイトル: Integrating Model-based Control and RL for Sim2Real Transfer of Tight Insertion Policies - 対象タスク: 狭い公差(<1mm)でのオブジェクト挿入(プラグをソケットに挿入) - 提案手法: model-based control(potential field-based controller)とresidual RLを統合したポリシー - 学習: シミュレーションのみで訓練し、実機にzero-shot転送 - 入力: プラグとソケットのSE(3) pose - 出力: プラグのSE(3) pose変換(ロボットアームが実行) - 特徴: 密な報酬関数の設計を必要とせず、sparseなgoal-reaching報酬でresidual RLを訓練

2. 先行研究と比べてどこがすごい?

- 先行研究: RLベースの手法が主流だが、密な報酬関数の設計が課題 - 提案手法の優位性: model-based controlとRLの統合により、密な報酬設計を回避しつつ高い挿入精度を実現 - 比較対象: 最近のRLベース手法およびハイブリッドポリシーの先行研究 - 結果: 提案手法がそれらを上回る性能を示した(シミュレーションと実機の両方で) - 特に、zero-shotでの実機転送を実現した点が従来との違い

3. 技術・手法の肝は?

- 核となるアイデア: potential field-based controllerによるmodel-based policyとresidual RLの統合 - model-based policy: 完全観測可能なシミュレーションで、potential field-based controllerを用いてプラグをソケットに挿入するポリシーを獲得 - residual RL: シミュレーションでsparseなgoal-reaching報酬のみを与えて訓練 - カリキュラム: 観測ノイズと行動の大きさに関するカリキュラムスキームをresidual RLポリシーの訓練に使用 - 入力と出力: 両ポリシーはプラグとソケットのSE(3) poseを入力とし、プラグのSE(3) pose変換を出力 - 実機展開: 視覚的SE(3)オブジェクトトラッカーを用いて、追加訓練なしで実機に展開

4. どうやって有効だと検証した?

- 評価方法: シミュレーションと実環境の両方で、多様なオブジェクトと条件にわたり評価 - 比較: 提案手法と代替手法(最近のRLベース手法、ハイブリッドポリシー)を比較 - 結果: 提案手法が最近のRLベース手法や先行のハイブリッドポリシーを上回る性能を示した - アブレーション: 各コンポーネントの影響を明らかにするアブレーション実験を実施 - 実機検証: zero-shot転送後、実機で性能を確認

5. 議論はある?

- 議論の詳細は要旨からは不明 - 考えられる論点: 提案手法の汎化性、他のタスクへの適用可能性、potential field-based controllerのパラメータ依存性、カリキュラムスキームの設計 - 制限: 要旨には具体的な議論や限界についての記述がない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 最近のRLベース手法(具体的名称は要旨から不明)、ハイブリッドポリシーの先行研究 - 関連手法: residual RL、potential field-based control、curriculum learning、sim2real transfer - 次に読むべき論文: RLベースの挿入タスクに関する最近の論文(例: 密な報酬を用いたRL挿入)、ハイブリッドポリシーに関する論文、sim2real転送のサーベイ

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Isidoros Marougkas, Dhruv Metha Ramesh, Joe H. Doerr, Edgar Granados, Aravind Sivaramakrishnan, Abdeslam Boularias, Kostas E. Bekris

分類: cs.RO

原文アブストラクト

Object insertion under tight tolerances ($< \hspace{-.02in} 1mm$) is an important but challenging assembly task as even small errors can result in undesirable contacts. Recent efforts focused on Reinforcement Learning (RL), which often depends on careful definition of dense reward functions. This work proposes an effective strategy for such tasks that integrates traditional model-based control with RL to achieve improved insertion accuracy. The policy is trained exclusively in simulation and is zero-shot transferred to the real system. It employs a potential field-based controller to acquire a model-based policy for inserting a plug into a socket given full observability in simulation. This policy is then integrated with residual RL, which is trained in simulation given only a sparse, goal-reaching reward. A curriculum scheme over observation noise and action magnitude is used for training the residual RL policy. Both policy components use as input the SE(3) poses of both the plug and the socket and return the plug's SE(3) pose transform, which is executed by a robotic arm using a controller. The integrated policy is deployed on the real system without further training or fine-tuning, given a visual SE(3) object tracker. The proposed solution and alternatives are evaluated across a variety of objects and conditions in simulation and reality. The proposed approach outperforms recent RL-based methods in this domain and prior efforts with hybrid policies. Ablations highlight the impact of each component of the approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI