日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/探索arXiv:2510.08851

概念駆動型探索による強化学習

CDE: Concept-Driven Exploration for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚言語モデルから得た物体概念を補助タスクで再構成し、その精度を内在的報酬として探索を誘導する手法を提案。視覚マニピュレーションで効率的な探索を実現し、実機でも80%の成功率を示した。

詳しい要約

1. どんなもの?

- 視覚ベースの強化学習(visual RL)における探索を改善する手法「Concept-Driven Exploration (CDE)」を提案した研究。 - 事前学習済みのvision-language model (VLM)を用い、テキストのタスク記述からobject-centricなvisual conceptを生成する。 - 生成されたconceptはweakでnoisyなsupervisory signalとして扱う。 - 方針として、noisyな信号に直接conditioningするのではなく、conceptを再構成する補助タスクをpolicyに学習させる。 - 再構成精度をintrinsic rewardとして探索を誘導する。 - 5つの模擬visual manipulationタスクと実機Franka armでの転移を報告。

2. 先行研究と比べてどこがすごい?

- 低次元のstate-based RLと異なり、visual RLはraw pixelsからタスク関連構造を抽出する必要があり探索が非効率という課題を出発点とする。 - 先行研究との具体的な比較は要旨からは不明。 - 特徴として、VLMが生成するnoisyなconcept信号に直接conditioningせず、再構成の補助目的を通じて頑健に活用する点を挙げている。 - synthetic errorsやnoisyなVLM予測に対して頑健であると報告。

3. 技術・手法の肝は?

- 事前学習済みVLMにより、テキストのタスク記述からobject-centricなvisual conceptを生成。 - このconceptをweakかつnoisyになり得るsupervisory signalとして利用。 - policyにconcept再構成のauxiliary objectiveを課し、conceptの一般的表現を学習。 - 再構成精度をintrinsic rewardとして用い、タスク関連物体へ探索を誘導。 - noisy信号への直接conditioningを避ける設計が肝。

4. どうやって有効だと検証した?

- 5つの困難な模擬visual manipulationタスクで評価。 - 効率的かつ標的を絞った探索を達成したと報告。 - synthetic errorsおよびnoisyなVLM予測の双方に対して頑健であることを示した。 - 実世界転移としてFranka armにCDEを適用し、実世界manipulationタスクで80%の成功率を達成。

5. 議論はある?

- 要旨からは不明。 - 明示されているのは、noisyなVLM予測やsynthetic errorsへの頑健性、および実機での80%成功率という結果。 - 限界や失敗事例、計算コスト等の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法として、visual RLにおけるintrinsic rewardによる探索(例: curiosity-driven exploration)、VLMを用いたweak supervision、object-centric representation learning、real-world transferに関する研究が次に読む候補となる(一般名)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Le Mao, Andrew H. Liu, Renos Zabounidis, Yanan Niu, Zachary Kingston, Joseph Campbell

分類: cs.RO

原文アブストラクト

Intelligent exploration remains a critical challenge in reinforcement learning (RL), especially in visual control tasks. Unlike low-dimensional state-based RL, visual RL must extract task-relevant structure from raw pixels, making exploration inefficient. We propose Concept-Driven Exploration (CDE), which leverages a pre-trained vision-language model (VLM) to generate object-centric visual concepts from textual task descriptions as weak, potentially noisy supervisory signals. Rather than directly conditioning on these noisy signals, CDE trains a policy to reconstruct the concepts via an auxiliary objective, learning general representations of the concepts and using reconstruction accuracy as an intrinsic reward to guide exploration toward task-relevant objects. Across five challenging simulated visual manipulation tasks, CDE achieves efficient, targeted exploration and remains robust to both synthetic errors and noisy VLM predictions. Finally, we demonstrate real-world transfer by deploying CDE on a Franka arm, attaining an 80\% success rate in a real-world manipulation task.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI