日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2602.21203

Squint: 実機ロボティクス向け高速視覚強化学習

Squint: Fast Visual Reinforcement Learning for Sim-to-Real Robotics

シェア:XThreadsFacebookLINEはてブBluesky

視覚強化学習を高速化するSoft Actor Critic手法Squintを提案し、ManiSkill3の8つのマニピュレーションタスクで訓練時間を短縮、実機SO-101ロボットへのsim-to-real転移を実証した。

詳しい要約

1. どんなもの?

- 視覚強化学習(Visual RL)のための新しい手法「Squint」を提案。 - オフポリシー型のSoft Actor Critic(SAC)をベースに、視覚入力を用いたロボティクス制御を高速化。 - 並列シミュレーション、分布クリティック、解像度スキンティング、層正規化、更新対データ比の調整、最適化実装を組み合わせる。 - SO-101 Task Set(ManiSkill3上の8つのマニピュレーションタスク、強いドメインランダム化)で評価。 - 単一RTX 3090 GPUで15分訓練、多くのタスクは6分未満で収束。 - 実機SO-101ロボットへのsim-to-real転移を実証。

2. 先行研究と比べてどこがすごい?

- 従来の視覚強化学習は、オフポリシー法はサンプル効率が良いが遅く、オンポリシー法は並列化できるがサンプルを無駄にする問題があった。 - 状態ベース制御ではオフポリシー法がオンポリシー法より実時間で速く訓練できることが示されていたが、視覚への拡張は高次元画像入力のため困難だった。 - Squintは、視覚オフポリシー法およびオンポリシー法よりも実時間訓練が高速であることを達成。 - 従来の視覚RL手法と比較して、訓練時間を大幅に短縮(15分で収束、多くは6分未満)。

3. 技術・手法の肝は?

- 視覚Soft Actor Critic(SAC)をベースに、以下の要素を統合: - 並列シミュレーション - 分布クリティック(distributional critic) - 解像度スキンティング(resolution squinting) - 層正規化(layer normalization) - 調整された更新対データ比(update-to-data ratio) - 最適化された実装 - これらの組み合わせにより、高次元画像入力の訓練ダイナミクスの複雑さ、ストレージとエンコーディングのオーバーヘッドを克服。

4. どうやって有効だと検証した?

- SO-101 Task Set(ManiSkill3上の8つのマニピュレーションタスク、強いドメインランダム化)で評価。 - 単一RTX 3090 GPUで15分訓練し、多くのタスクが6分未満で収束することを確認。 - 実機SO-101ロボットへのsim-to-real転移を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:視覚オフポリシー法、視覚オンポリシー法、状態ベース制御におけるオフポリシー法の高速性を示した最近の研究。 - 関連手法:Soft Actor Critic(SAC)、ManiSkill3、SO-101 Task Set。 - 同分野の定番:Visual Reinforcement Learning、Sim-to-Real Robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdulaziz Almuzairee, Henrik I. Christensen

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Visual reinforcement learning is appealing for robotics but expensive -- off-policy methods are sample-efficient yet slow; on-policy methods parallelize well but waste samples. Recent work has shown that off-policy methods can train faster than on-policy methods in wall-clock time for state-based control. Extending this to vision remains challenging, where high-dimensional input images complicate training dynamics and introduce substantial storage and encoding overhead. To address these challenges, we introduce Squint, a visual Soft Actor Critic method that achieves faster wall-clock training than prior visual off-policy and on-policy methods. Squint achieves this via parallel simulation, a distributional critic, resolution squinting, layer normalization, a tuned update-to-data ratio, and an optimized implementation. We evaluate on the SO-101 Task Set, a new suite of eight manipulation tasks in ManiSkill3 with heavy domain randomization, and demonstrate sim-to-real transfer to a real SO-101 robot. We train policies for 15 minutes on a single RTX 3090 GPU, with most tasks converging in under 6 minutes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI