日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

階層型ポリシー/拡散モデル/自己学習arXiv:2603.05291

階層拡散ポリシーにおける共適応のためのオンライン自己学習

Online Self-Training for Co-Adaptation in Hierarchical Diffusion Policies

シェア:XThreadsFacebookLINEはてブBluesky

階層型拡散ポリシーにおいて、プランナーとコントローラのサブゴール分布を整合させる自己学習フレームワークORCHIDを提案し、オンラインでの安定した改善を実現した。

詳しい要約

1. どんなもの?

- 言語条件付き長期ロボット操作のための階層的拡散ポリシー(Hierarchical Diffusion Policies)のオンライン自己訓練フレームワークORCHIDを提案。 - 高レベルプランナーと低レベルコントローラの協調を、環境フィードバックによるサンプルフィルタリングと教師あり蒸留で改善。 - 両モジュールのサブゴール分布を整合させ、双方向の共適応(co-adaptation)を実現。

2. 先行研究と比べてどこがすごい?

- 従来の階層的拡散ポリシーはオフライン学習が主流で、オンライン強化学習(RL)は不安定になりがち。 - ORCHIDはオンラインRLの勾配ベース訓練を避け、フィルタリングされたオンラインポリシーサンプルの教師あり蒸留により安定したオンライン改善を可能に。 - CALVINベンチマークで、軽量で初期性能の低いモデルが純粋なオフライン手法や2倍のサイズのVision-Language-Actionモデルを上回る。

3. 技術・手法の肝は?

- 環境フィードバックを用いてポリシーサンプルをフィルタリングし、プランナーとコントローラが共同で成功した軌道を特定。 - 特定した軌道を教師あり学習で両モジュールに蒸留し、反復的に洗練。 - これによりプランナーはコントローラの実際の到達能力に基づいたサブゴールを生成し、コントローラはプランナーが生成する軌道構造に特化。 - オンライン階層的勾配ベースRLの不安定性を回避。

4. どうやって有効だと検証した?

- CALVINベンチマークで評価。 - 軽量で初期性能の低いモデルが、純粋なオフライン手法や2倍のサイズのVision-Language-Actionモデルを上回ることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:CALVINベンチマーク、Vision-Language-Actionモデル、階層的拡散ポリシー、オンライン階層的勾配ベースRL。 - 関連手法:Hierarchical Diffusion Policies、Vision-Language-Action models、CALVIN benchmark。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Clemence Grislain, Mathilde Kappel, Olivier Sigaud, Mohamed Chetouani

分類: cs.RO

原文アブストラクト

Hierarchical policies decompose language-conditioned long-horizon robotic manipulation into a high-level planner and a low-level controller. However, effective coordination between HL and LL requires that both components operate on compatible subgoal distributions. We propose ORCHID, a self-training framework that enables stable online improvement of hierarchical diffusion policies by aligning planning and control through iterative refinement. By filtering policy samples via environment feedback, ORCHID identifies trajectories where the planner and controller are jointly successful and distills them back into both modules via supervised learning. This process induces a bidirectional co-adaptation: the planner grounds its subgoals in the actual reaching capabilities of the controller, while the controller specializes in the trajectory structures the planner produces. By relying on supervised distillation of filtered on-policy samples, ORCHID avoids the instability typical of online hierarchical gradient-based RL training with diffusion models. On the CALVIN benchmark, ORCHID allows a lightweight, initially weak model to outperform pure offline methods, including a Vision-Language-Action model twice its size.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI