日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.07534

自己受容感を軸にしたクロスモーダル事前学習による接触を伴う組立のゼロショットsim-to-real転移

Zero-Shot Sim-to-Real Contact-Rich Assembly via Proprioception-Anchored Cross-Modal Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションと実機で差異の少ない自己受容感(関節位置・速度)を教師信号に、視覚と力覚の表現を学習し、実機での微調整なしで高精度な接触組立を実現する手法PACEを提案した。

詳しい要約

1. どんなもの?

接触を伴う組立作業(contact-rich assembly)は、サブミリメートル精度と持続的な接触中の力の解釈を必要とするため困難である。本論文は、シミュレーションから実機への転移(sim-to-real)を改善するため、PACE(Proprioception-Anchored Cross-Modal Encoder)を提案する。PACEは、視覚と力/トルク(F/T)の時系列表現を、自己受容感(proprioception)の状態遷移を予測することで教師あり学習する。これにより、ドメイン固有の静的要素(照明、テクスチャ、センサバイアス)を抑制し、タスク関連の運動手がかりを保持する。学習された特徴量を用いたポリシーは、実世界での微調整や物体ポーズ追跡なしでハードウェアに展開される。

2. 先行研究と比べてどこがすごい?

従来のsim-to-real転移は、視覚観察、接触ダイナミクス、F/T測定の不一致に悩まされ、ポリシー転移が制限される。PACEは、較正された関節位置と一貫して計算された関節速度により、自己受容感がシミュレーションとハードウェア間で比較的一貫しているという観察に基づく。既存の手法は、視覚的特徴や融合特徴を直接用いることが多いが、PACEは自己受容感をアンカーとしてクロスモーダル表現を学習することで、ドメインギャップを低減する。さらに、実世界での微調整や物体ポーズ追跡を必要としない点で、既存のポーズベースや学習融合ベースラインよりも堅牢である。

3. 技術・手法の肝は?

PACEは、視覚とF/Tの時系列表現を入力とし、自己受容感の状態遷移(次の状態の関節位置や速度など)を予測するようにエンコーダを訓練する。この目的関数により、エンコーダは関節運動に関連する情報を保持しつつ、照明やテクスチャなどの静的要素を抑制する。訓練されたPACE特徴量は凍結され、その上でポリシーが訓練される。展開時には、実世界のデータはPACEエンコーダを通過し、ポリシーが行動を出力する。

4. どうやって有効だと検証した?

4つの接触を伴う組立タスク(contact-rich assembly tasks)で評価し、実世界での平均成功率93.3%を達成し、sim-to-realの成功率低下はわずか2.7パーセントポイントである。さらに、ポーズベースおよび学習融合ベースラインを大幅に劣化させる摂動に対して堅牢であることを示した。

5. 議論はある?

要旨からは、PACEの限界や潜在的な欠点についての議論は不明である。また、異なるロボットやタスクへの一般化、シミュレーション環境の詳細、計算コストなどについては言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、sim-to-real転移や接触を伴う組立に関する一般的な研究として、Domain Randomization、Reinforcement Learning、Force/Torqueセンサを用いた制御、Cross-Modal Learningなどの分野の論文が考えられる。具体的には、Sim-to-Real Transfer in Robotic ManipulationやContact-Rich Manipulationに関する論文を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhan Wang, Yurou Chen, Hongye Jiang, Wenzhao Lian

分類: cs.RO, cs.AI

原文アブストラクト

Contact-rich assembly remains challenging because it requires submillimeter spatial accuracy and reliable interpretation of forces during sustained contact. Although simulation-based reinforcement learning offers a scalable training paradigm, discrepancies in visual observations, contact dynamics, and force/torque (F/T) measurements often limit policy transfer. We observe that proprioception is comparatively consistent across domains because calibrated joint positions and consistently computed joint velocities align closely between simulation and hardware. Based on this observation, we present PACE (Proprioception-Anchored Cross-Modal Encoder), which supervises temporal visual and F/T representations by predicting proprioceptive state transitions. Static domain-specific factors, including lighting, texture, and sensor bias, contain little information about joint motion; the proposed objective therefore encourages the encoder to suppress these factors while retaining task-relevant motion cues. Policies trained on frozen PACE features are deployed on hardware without real-world fine-tuning or object-pose tracking. Across four contact-rich assembly tasks, PACE attains an average real-world success rate of 93.3\% and only a 2.7-percentage-point sim-to-real drop, meanwhile remaining robust to perturbations that substantially degrade pose-based and learned-fusion baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI