日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.26985

SymmGrid: 並列対称性と自己中心・外界中心視覚知覚によるロボット実機学習の超高速化

SymmGrid: Super-Scaling On-Robot Learning with Parallelized Symmetries and Egocentric-Exocentric Visual Perception

シェア:XThreadsFacebookLINEはてブBluesky

ロボット実機での強化学習を高速化するため、対称性変換を並列化してリプレイバッファを多様な経験で満たすフレームワークSymmGridを提案し、実機操作タスクで学習時間を短縮し成功率を向上させた。

詳しい要約

1. どんなもの?

SymmGridは、実ロボット上での深層強化学習(on-robot learning)の学習時間を短縮するためのフレームワーク。対称性を利用した軌道レベルのデータ拡張を行い、ego-およびexocentric視覚設定の両方で学習を高速化する。MDPを対称性ツリーでモデル化し、状態-行動ペアに許容される並列化不変変換を適用して幾何学的グリッド構造を生成する。状態はego/exocentric画像とプロプリオセプション情報で構成され、後者にはホモグラフィを用いた視覚シーンのワーピングを適用する。実ロボットの接触タスク(peg-insertion, cable routing, object relocation)で評価され、学習収束時間の大幅な短縮と成功率の向上を達成した。

2. 先行研究と比べてどこがすごい?

従来のon-robot learningは壁時計時間での学習が遅いという問題があった。先行研究ではデータ拡張や対称性の活用が提案されているが、SymmGridは並列化された対称性変換をスーパースケーリングすることで、単純な分岐対称性が大きな効果を持つことを示した点が新しい。また、ego-とexocentric視覚の両方に対応し、プロプリオセプション情報をホモグラフィで扱う点も独自性が高い。SOTAと比較して、収束速度で1.37-2.17倍、成功率で1.09-1.27倍の改善を実ロボットで達成しており、実用的な高速化を実証している。

3. 技術・手法の肝は?

手法の核は、対称性ツリーに基づくMDPのモデル化と、軌道レベルの並列化不変変換の適用。具体的には、状態-行動ペアに対して許容される変換群を定義し、それらを並列に適用して多数の対称等価な軌道を生成する。これによりリプレイバッファが多様で一貫した経験で満たされ、学習が加速する。プロプリオセプション情報はホモグラフィ変換を用いて視覚シーンと整合させる。また、ego-とexocentricの両方の視覚設定をサポートする。

4. どうやって有効だと検証した?

実ロボットの接触タスク(peg-insertion, cable routing, object relocation)で広範な訓練と評価を実施。SOTAと比較して、壁時計時間での収束速度が1.37-2.17倍向上し、評価成功率が1.09-1.27倍向上した。最速収束時間はそれぞれ16.6分、10.9分、79.3分。軌道全体の評価には正規化AUC(nAUC)比を用い、最大2.59倍の改善を確認した。

5. 議論はある?

要旨からは、対称性の仮定がタスクにどの程度適用可能か、またexocentric設定でのホモグラフィの精度や、より複雑なタスクへのスケーラビリティに関する議論は明示されていない。また、提案手法が特定のロボットやタスクに依存する可能性や、シミュレーションとのギャップについても言及がない。ただし、単純な分岐対称性が大きな効果を持つことを示し、サブ10分の学習に近づいたと主張している点は議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されているSOTAや関連手法は明示されていないが、同分野の定番として、データ拡張を用いた強化学習(例えば、RAD: Reinforcement Learning with Augmented Data)や、対称性を利用した手法(例えば、Equivariant RL)が考えられる。また、実ロボット学習の高速化に関する研究(例えば、SERL: Sample-Efficient Robotic Learning)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gabe Everett, Brice Gunter, Ryan Vander Stelt, Cleiver Ruiz-Martinez, Blake Hull, Juan Rojas

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Deep reinforcement policy learning directly in physical robots (on-robot learning) remains bottlenecked by slow wall-clock training times. We present SymmGrid, a trajectory level augmentation framework inspired by parallelized symmetries that super-scales group transformations to significantly accelerate on-robot learning in both egocentric and exocentric visual setups. We model a Markov Decision Process (MDP) under a symmetry tree, in which state-action pairs have admissible parallelized invariant transformations that yield a geometric grid structure. The state is modelled with ego- or exocentric images and proprioception information. The latter require special treatment, in the form of homographies, to warp visual scenes in line with their corresponding spatial transformations. These parallelized transformations produce a large set of unique symmetric equivalences that populate the replay buffer with diverse and consistent experiences that speed up learning and improve performance. We present extensive training and evaluations performed directly on real robot manipulation contact tasks including peg-insertions, cable routing, and object relocations. Relative to SOTA, SymmGrid achieved wall-clock training convergence speed-ups of 1.37-2.17x, evaluation success rate improvements of 1.09x-1.27x, fastest training convergence times of 16.6, 10.9, and 79.3 minutes respectively. For trajectory wide assessments, we used normalized area under the curve (nAUC) ratios. SymmGrid achieved improvements of up to 2.59x. These results confirm that simple branch symmetries can have an outsized result due to super-scaling and bring us closer to sub-10 minute on-robot learning training in manipulation tasks suitable for arms and humanoids. The project page is available at symmgrid-robot.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI