日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2506.09176

適応的介入機構によるロボット主導の対話型模倣学習

Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism

シェア:XThreadsFacebookLINEはてブBluesky

人間の介入要求を適応的に判断するプロキシQ関数を導入し、専門家の監視負担を大幅に減らすロボット主導の対話型模倣学習手法を提案した。

詳しい要約

1. どんなもの?

- Interactive Imitation Learning (IIL) において、人間の介入要求をエージェント側が判断する robot-gated 型の新アルゴリズム Adaptive Intervention Mechanism (AIM) を提案する研究。 - 人間の介入ルールを模倣する proxy Q-function を学習し、エージェントと専門家の行動の整合度に応じて介入要求を適応的に調整する。 - 連続制御・離散制御の両タスクで、専門家の監視負担を大幅に削減することを目的とする。

2. 先行研究と比べてどこがすごい?

- 従来の IIL は人間監督者への認知的負担が大きいという課題があった。 - 不確実性ベースの baseline である Thrifty-DAgger と比較して、human take-over cost と学習効率で 40% の改善を達成。 - 安全上重要な状態を特定して専門家支援を求め、より高品質な専門家デモを収集し、必要な専門家データと環境相互作用を削減できる点が優位。

3. 技術・手法の肝は?

- proxy Q-function を用いて人間の介入ルールを模倣する点が肝。 - エージェントが専門家から逸脱する場合に高い Q-value を割り当て、熟達するにつれて Q-value を減少させる。 - これによりエージェントは専門家とのリアルタイムの整合度を評価し、必要なときに支援を要求できる適応的な介入基準を学習する。

4. どうやって有効だと検証した?

- expert-in-the-loop 実験を実施し、連続制御タスクと離散制御タスクの両方で評価。 - Thrifty-DAgger との比較で human take-over cost と学習効率が 40% 改善することを示した。 - 安全上重要な状態の特定、高品質な専門家デモの収集、専門家データと環境相互作用の削減効果を確認。

5. 議論はある?

- 要旨からは不明。 - ただし expert-in-the-loop 実験の結果として監視負担の削減と安全上重要な状態の特定効果が述べられている。

6. 次に読むべき論文は?

- Thrifty-DAgger(不確実性ベースの baseline) - Interactive Imitation Learning (IIL) 全般 - DAgger 系の手法(関連手法として一般名で挙げる)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyuan Cai, Zhenghao Peng, Bolei Zhou

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Interactive Imitation Learning (IIL) allows agents to acquire desired behaviors through human interventions, but current methods impose high cognitive demands on human supervisors. We propose the Adaptive Intervention Mechanism (AIM), a novel robot-gated IIL algorithm that learns an adaptive criterion for requesting human demonstrations. AIM utilizes a proxy Q-function to mimic the human intervention rule and adjusts intervention requests based on the alignment between agent and human actions. By assigning high Q-values when the agent deviates from the expert and decreasing these values as the agent becomes proficient, the proxy Q-function enables the agent to assess the real-time alignment with the expert and request assistance when needed. Our expert-in-the-loop experiments reveal that AIM significantly reduces expert monitoring efforts in both continuous and discrete control tasks. Compared to the uncertainty-based baseline Thrifty-DAgger, our method achieves a 40% improvement in terms of human take-over cost and learning efficiency. Furthermore, AIM effectively identifies safety-critical states for expert assistance, thereby collecting higher-quality expert demonstrations and reducing overall expert data and environment interactions needed. Code and demo video are available at https://github.com/metadriverse/AIM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI