日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.10165

MoRI: 長期的操作タスクのためのRLとILエキスパートの混合

MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks

シェア:XThreadsFacebookLINEはてブBluesky

強化学習と模倣学習のエキスパートを動的に切り替えるシステムMoRIを提案し、複雑な実世界操作タスクで高成功率と少ない介入を実現した。

詳しい要約

1. どんなもの?

- 長期的なロボットマニピュレーションタスクのための新しいポリシー学習フレームワーク - Reinforcement Learning (RL) と Imitation Learning (IL) の専門家を動的に切り替える Mixture of RL and IL Experts (MoRI) を提案 - 粗い動きと細かい操作を専門家の行動分散に基づいて処理 - オフライン事前学習とオンライン微調整を組み合わせて収束を加速 - 4つの複雑な実世界タスクで平均成功率97.5%を達成

2. 先行研究と比べてどこがすごい?

- 既存のハイブリッド手法は複雑なタスクで苦戦することが多い - ILは効率的だが複合誤差と分布シフトに弱く、RLは自律探索が可能だがサンプル効率が低く試行錯誤コストが高い - MoRIは両者の専門家を動的に切り替えることでこれらの問題を緩和 - ベースラインRLと比較して人間の介入を85.8%削減し、収束時間を21%短縮

3. 技術・手法の肝は?

- ILとRLの専門家を用意し、専門家行動の分散に基づいて動的に切り替え - オフライン事前学習段階の後にオンライン微調整段階を実施 - 探索の安全性を維持し人間の介入を最小化するため、RLコンポーネントにILベースの正則化を適用 - 粗い動きにはIL、細かい操作にはRLを割り当てるなど、タスクの性質に応じた役割分担

4. どうやって有効だと検証した?

- 4つの複雑な実世界タスクで評価 - オンライン微調整を2〜5時間行い、平均成功率97.5%を達成 - ベースラインRLアルゴリズムと比較して、人間の介入が85.8%減少、収束時間が21%短縮 - 実世界タスクでの有効性を実証

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、スケーラビリティに関する議論は不明 - 専門家の切り替え基準や正則化の詳細な影響についての議論も要旨からは不明 - 実世界タスクの具体的な内容や評価指標の詳細も要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として、Reinforcement Learning (RL)、Imitation Learning (IL)、既存のハイブリッド手法(具体的名称は不明)が挙げられる - 同分野の定番として、Behavior Cloning (BC)、DAgger、Soft Actor-Critic (SAC)、Deep Deterministic Policy Gradient (DDPG) などが考えられるが、要旨に記載はない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaohang Xu, Lianjie Ma, Gewei Zuo, Wentao Zhang, Han Ding, Lijun Zhu

分類: cs.RO

原文アブストラクト

Reinforcement Learning (RL) and Imitation Learning (IL) are the standard frameworks for policy acquisition in manipulation. While IL offers efficient policy derivation, it suffers from compounding errors and distribution shift. Conversely, RL facilitates autonomous exploration but is frequently hindered by low sample efficiency and the high cost of trial and error. Since existing hybrid methods often struggle with complex tasks, we introduce Mixture of RL and IL Experts (MoRI). This system dynamically switches between IL and RL experts based on the variance of expert actions to handle coarse movements and fine-grained manipulations. MoRI employs an offline pre-training stage followed by online fine-tuning to accelerate convergence. To maintain exploration safety and minimize human intervention, the system applies IL-based regularization to the RL component. Evaluation across four complex real-world tasks shows that MoRI achieves an average success rate of 97.5% within 2 to 5 hours of fine-tuning. Compared to baseline RL algorithms, MoRI reduces human intervention by 85.8% and shortens convergence time by 21%, demonstrating its capability in robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI