日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2512.00453

Conformal Predictionによる能動的模倣学習のためのサンプル効率の良いエキスパートクエリ制御

Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction

シェア:XThreadsFacebookLINEはてブBluesky

訪問状態の新規性をK近傍距離で測り、Conformal Predictionで閾値を設定することで、エキスパートへのクエリを最大96%削減しつつ専門家レベルの性能を達成する能動的模倣学習手法を提案。

詳しい要約

1. どんなもの?

- 能動的模倣学習(Active Imitation Learning, AIL)における専門家クエリを削減する手法 CRSAIL(Conformalized Rejection Sampling for Active Imitation Learning)の提案。 - 訪問状態が専門家ラベル付きデータセット内で過少表現のときのみ専門家行動を問い合わせるクエリ規則。 - 状態の新規性を K-th nearest expert state までの距離でスコア化し、conformal prediction で単一のグローバル閾値を設定。 - MuJoCo ロボティクスタスクで評価され、専門家レベルの報酬を維持しつつクエリを大幅削減。

2. 先行研究と比べてどこがすごい?

- DAgger と比較して専門家クエリを最大 96% 削減。 - 先行 AIL 手法と比較して最大 65% 削減。 - safety-gate-based AIL と異なり、リアルタイムの専門家テイクオーバー無しで運用可能。 - 状態空間ベースのクエリ戦略により外れ値に頑健。 - α と K に対する経験的頑健性を持ち、未知ダイナミクスの新規システムへの展開が容易。

3. 技術・手法の肝は?

- 状態の新規性を K-th nearest expert state までの距離でスコア化。 - conformal prediction により単一のグローバル閾値を設定。 - 閾値は on-policy calibration scores の経験的 (1-α) 分位点。 - distribution-free なキャリブレーション規則で α を期待クエリ率に結び付け、α をタスク非依存の調整ノブに。 - 学習者で全 trajectory(episode)をロールアウトし、その後で訪問状態の一部について専門家に問い合わせる方式。

4. どうやって有効だと検証した?

- MuJoCo ロボティクスタスクで評価。 - 専門家レベルの報酬に一致または超過することを確認。 - DAgger 比で最大 96%、先行 AIL 手法比で最大 65% の専門家クエリ削減を実証。 - α と K に対する経験的頑健性を確認。

5. 議論はある?

- 要旨からは不明(本文での議論は明示されていない)。 - ただし α をタスク非依存の調整ノブとし、未知ダイナミクスの新規システムへの展開容易性に言及。 - 外れ値への頑健性、リアルタイム専門家テイクオーバー不要である点を利点として主張。

6. 次に読むべき論文は?

- DAgger(本手法の主要比較対象)。 - safety-gate-based AIL(比較対象として言及された先行 AIL 手法群)。 - conformal prediction(閾値設定の基盤手法)。 - MuJoCo(評価環境)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arad Firouzkouhi, Omid Mirzaeedodangeh, Lars Lindemann

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Active imitation learning (AIL) combats covariate shift by querying an expert during training. However, expert action labeling often dominates the cost, especially in GPU-intensive simulators, human-in-the-loop settings, and robot fleets that revisit near-duplicate states. We present Conformalized Rejection Sampling for Active Imitation Learning (CRSAIL), a querying rule that requests an expert action only when the visited state is under-represented in the expert-labeled dataset. CRSAIL scores state novelty by the distance to the $K$-th nearest expert state and sets a single global threshold via conformal prediction. This threshold is the empirical $(1-\alpha)$ quantile of on-policy calibration scores, providing a distribution-free calibration rule that links $\alpha$ to the expected query rate and makes $\alpha$ a task-agnostic tuning knob. This state-space querying strategy is robust to outliers and, unlike safety-gate-based AIL, can be run without real-time expert takeovers: we roll out full trajectories (episodes) with the learner and only afterward query the expert on a subset of visited states. Evaluated on MuJoCo robotics tasks, CRSAIL matches or exceeds expert-level reward while reducing total expert queries by up to 96% vs. DAgger and up to 65% vs. prior AIL methods, with empirical robustness to $\alpha$ and $K$, easing deployment on novel systems with unknown dynamics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI