日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/事前学習arXiv:2607.00808

局所動作が重要:ビデオからの強化学習事前学習のための分解・再構成パラダイム

Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos

シェア:XThreadsFacebookLINEはてブBluesky

ビデオから強化学習の事前学習を行う際、エージェント全体の動きではなく局所的な動きのパターンに着目し、分解と再構成のパラダイムを提案して、ロボット制御や操作タスクへの転移効率を向上させた。

詳しい要約

1. どんなもの?

本論文は、大規模ビデオからの事前学習を用いて強化学習の効率を向上させるための、Deconstruct-Recompose Paradigm (DRP) を提案する。従来の手法がエージェントを不可分な全体として扱い、運動パターンをグローバルにモデル化するのに対し、DRPは局所的な運動表現を学習し、それを再構成することで、異なる形態やドメイン間での転移を可能にする。具体的には、Deconstructフェーズで局所点を追跡しAtomic Actionを定義、Dual-Attention Encoder (DAE) で時空間関係を学習する。Recomposeフェーズでは、Motion Aggregation Token [MAT] を用いて局所表現を合成し、潜在力学モデルを学習する。さらに、adapterが下流の行動固有の力学と橋渡しし、ポリシー学習を加速する。

2. 先行研究と比べてどこがすごい?

先行研究では、エージェント全体のグローバルな運動パターンをモデル化するため、形態に強く結合し、異なるエージェントやタスクへの転移が困難だった。DRPは、局所的な運動パターンが異なるエージェント間で類似しているという洞察に基づき、局所運動表現を学習することで、形態に依存しない転移可能な表現を獲得する点が新しい。これにより、多様なロボット制御・操作タスクへの転移が可能となり、サンプル効率と性能を大幅に改善する。

3. 技術・手法の肝は?

手法の核は、Deconstruct-Recomposeパラダイムである。Deconstructフェーズでは、エージェント上の複数の局所点を特定し、フレームごとの動きを追跡してAtomic Actionを定義する。Dual-Attention Encoder (DAE) を用いて、これらのAtomic Actionから局所運動表現を学習し、時空間関係を捉える。Recomposeフェーズでは、学習可能なMotion Aggregation Token [MAT] を用いて局所運動表現を合成し、潜在力学モデルを学習する。さらに、adapterが局所運動と下流の行動固有の力学を橋渡しし、ポリシー学習を加速する。

4. どうやって有効だと検証した?

実験では、多様なロボット制御および操作タスクに転移し、サンプル効率と性能が大幅に向上することを示した。具体的なタスクや比較対象は要旨からは不明だが、広範な実験により有効性を検証している。

5. 議論はある?

要旨からは、局所運動表現の転移可能性の限界や、Atomic Actionの選択方法、DAEの設計選択などに関する議論は不明。また、実ロボットへの適用や、より複雑なタスクでの性能についての考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、強化学習の事前学習に関する既存研究(例えば、ビデオからの表現学習を用いた手法)や、局所的な運動表現を扱う研究が関連する。具体的には、Robotic ManipulationやReinforcement Learningの分野で、ビデオ事前学習を用いた手法(例えば、Video Pre-training for RL)や、形態に依存しない表現学習(例えば、Morphology-Agnostic Representations)を扱った論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinwen Wang, Youfang Lin, Xiaobo Hu, Shuo Wang, Kai Lv

分類: cs.LG

原文アブストラクト

Pre-training on large-scale videos to improve reinforcement learning efficiency is promising yet remains challenging. Existing methods typically treat the agent as an indivisible entity, modeling motion patterns globally. Such global modeling is tightly coupled with the morphology, hindering transfer across domains. In contrast, despite the vast disparity in global motions, the local components exhibit similar motion patterns across different agents. Building on this insight, we propose a novel Deconstruct-Recompose Paradigm (DRP) for learning transferable local motion representations. Specifically, in the Deconstruct phase, we identify multiple local points and track their frame-wise motions, defining each as an Atomic Action. We introduce a Dual-Attention Encoder (DAE) to learn local motion representations from these Atomic Actions, capturing their spatiotemporal relationships. In the Recompose phase, we compose local motion representations with a learnable Motion Aggregation Token [MAT] via latent dynamics model learning. Additionally, an adapter bridges local motion and downstream action-specific dynamics to accelerate policy learning. Extensive experiments demonstrate that our method effectively transfers to diverse robotic control and manipulation tasks, significantly improving sample efficiency and performance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI