日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.05692

オラクル誘導マスク付き対照強化学習による視覚運動ポリシー

Oracle-Guided Masked Contrastive Reinforcement Learning for Visuomotor Policies

シェア:XThreadsFacebookLINEはてブBluesky

視覚運動ポリシー学習を表現学習とポリシー学習の2段階に分離し、マスク付きTransformerと対照学習で視覚表現を抽出、さらにオラクル教師の指導でサンプル効率と性能を向上させるフレームワークを提案。

詳しい要約

1. どんなもの?

- 視覚入力から直接 action を出力する visuomotor policy の学習フレームワーク。 - 名称は Oracle-Guided Masked Contrastive Reinforcement Learning (OMC-RL)。 - 学習を上流の representation learning 段階と下流の policy learning 段階に明示的に分離。 - 高次元 visual observation と agile maneuver の組合せに起因する低 sample efficiency と sim-to-real gap の緩和を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の visuomotor policy 学習は高次元視覚入力と俊敏な action 出力の組合せで sample efficiency が低く sim-to-real gap が大きい。 - OMC-RL は表現学習と policy 学習を分離し、上流で時間的・タスク関連表現を獲得、下流で oracle teacher の guidance を段階的に減衰させる。 - これにより sample efficiency と asymptotic policy performance の向上、多様で知覚的に複雑な scenario への generalization 改善を主張。 - 具体的な先行研究名や数値比較は要旨からは不明。

3. 技術・手法の肝は?

- 上流段階: masked Transformer module を temporal modeling と contrastive learning で訓練し、連続 visual input から時間認識的かつタスク関連な representation を抽出。 - 訓練後は encoder を freeze して連続 frame の visual representation 抽出に使い、Transformer module は破棄。 - 下流段階: global state information に privileged access を持つ oracle teacher policy が早期訓練で agent を監督し、有益な guidance を提供。 - 訓練進行に伴い guidance を徐々に減らし、独立した exploration を許容。

4. どうやって有効だと検証した?

- simulated 環境と real-world 環境の両方で extensive experiments を実施。 - OMC-RL が優れた sample efficiency と asymptotic policy performance を達成することを示す。 - 多様で perceptually complex な scenario における generalization 改善も確認。 - 具体的な benchmark 名、baseline、評価指標、数値は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、oracle teacher の privileged global state 依存、guidance 減衰 schedule の設計、masked Transformer と contrastive learning の寄与、sim-to-real での限界が考えられるが、要旨に明記なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法として、visuomotor policy learning における reinforcement learning、masked Transformer、contrastive learning、oracle teacher を用いた privileged learning / teacher-student distillation、sim-to-real transfer の定番文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Zhang, Jiaping Xiao, Chao Yan, Mir Feroskhan

分類: cs.RO, cs.LG

原文アブストラクト

A prevailing approach for learning visuomotor policies is to employ reinforcement learning to map high-dimensional visual observations directly to action commands. However, the combination of high-dimensional visual inputs and agile maneuver outputs leads to long-standing challenges, including low sample efficiency and significant sim-to-real gaps. To address these issues, we propose Oracle-Guided Masked Contrastive Reinforcement Learning (OMC-RL), a novel framework designed to improve the sample efficiency and asymptotic performance of visuomotor policy learning. OMC-RL explicitly decouples the learning process into two stages: an upstream representation learning stage and a downstream policy learning stage. In the upstream stage, a masked Transformer module is trained with temporal modeling and contrastive learning to extract temporally-aware and task-relevant representations from sequential visual inputs. After training, the learned encoder is frozen and used to extract visual representations from consecutive frames, while the Transformer module is discarded. In the downstream stage, an oracle teacher policy with privileged access to global state information supervises the agent during early training to provide informative guidance and accelerate early policy learning. This guidance is gradually reduced to allow independent exploration as training progresses. Extensive experiments in simulated and real-world environments demonstrate that OMC-RL achieves superior sample efficiency and asymptotic policy performance, while also improving generalization across diverse and perceptually complex scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI