日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2507.09180

視覚強化学習におけるSim2real転移のためのマルチモーダル融合

Multimodal Fusion for Sim2real Transfer in Visual Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

RGBと深度をVision Transformerで融合し、マスク付きコントラスト学習とカリキュラム型ドメインランダム化で汎化性能を高め、実機マニピュレーションへのゼロショット転移を実現した。

詳しい要約

1. どんなもの?

- RGB と depth を fusion する visual backbone を提案 - vision transformer ベースで sim2real transfer を目指す - 実世界 manipulation への zero-shot transfer を検証

2. 先行研究と比べてどこがすごい?

- depth は scene appearance 変化に頑健で 3D 空間情報を持つ点を活用 - RGB 単独や既存 fusion より generalization を向上 - 比較対象の具体的名称は要旨からは不明

3. 技術・手法の肝は?

- RGB と depth を別々の CNN stem で処理 - 統合した convolutional features を scalable vision transformer へ入力 - masked/unmasked token を用いた contrastive learning で sample efficiency と generalization を狙う - curriculum-based domain randomization で training を安定化

4. どうやって有効だと検証した?

- simulation で fusion scheme が他の baselines を上回ることを示す - 実世界 manipulation タスクへ zero-shot transfer して feasibility を検証

5. 議論はある?

- 要旨からは不明(具体的な限界や議論は記載なし)

6. 次に読むべき論文は?

- vision transformer ベースの visual reinforcement learning - contrastive learning を用いた sample efficiency 改善 - domain randomization と curriculum learning による sim2real - RGB-D fusion を用いた manipulation の zero-shot transfer

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zichun Xu, Jingdong Zhao, Chenyu Guo, Qianxue Zhang, Liao Zhang, Xiao Zhang, Yiming Ren, Lian Zhang, Zengren Zhao

分類: cs.CV, cs.RO

原文アブストラクト

Depth information is robust to scene appearance variations and inherently carries 3D spatial details. Thus, a visual backbone based on the vision transformer is proposed to fuse RGB and depth modalities for enhancing generalization in this paper. Different modalities are first processed by separate CNN stems, and the combined convolutional features are delivered to the scalable vision transformer to obtain visual representations. Moreover, a contrastive learning scheme is designed with masked and unmasked tokens to enhance the sample efficiency and generalization performance. A curriculum-based domain randomization scheme is used to flexibly stabilize the training process. Finally, simulation results demonstrate that our fusion scheme outperforms the other baselines. The feasibility of our model is validated to perform real-world manipulation tasks via zero-shot transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI