日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2510.01545

人間介入からの予測的選好学習

Predictive Preference Learning from Human Interventions

シェア:XThreadsFacebookLINEはてブBluesky

人間の介入に含まれる暗黙の選好信号を将来のロールアウト予測に活用し、安全性が重要な領域へ修正を伝播させる学習手法を提案。

詳しい要約

1. どんなもの?

- ヒト介入からの学習(Learning from Human Interventions)において、現在状態の行動修正だけでなく将来状態の行動も調整する手法。 - 提案手法は Predictive Preference Learning from Human Interventions(PPL)。 - ヒト介入に含まれる暗黙の選好信号を利用し、将来の rollout 予測に反映させる。 - 自動運転とロボットマニピュレーションのベンチマークで評価。

2. 先行研究と比べてどこがすごい?

- 多くの interactive imitation learning は現在状態の行動修正に焦点を当て、将来状態の行動は調整しない。 - 将来状態の誤りはより危険になり得る点を指摘。 - PPL はヒト介入を将来の複数時刻へ伝播させ、安全上重要な領域での探索に先回りして修正を反映。 - 学習効率を高め、必要なヒトデモンストレーションを削減できると主張。

3. 技術・手法の肝は?

- 各ヒト介入を preference horizon と呼ぶ L 個の将来時刻へ bootstrap する。 - その際、agent は同じ行動を続け、ヒトは同じ介入を行うと仮定。 - 将来状態に対して preference optimization を適用し、専門家修正を危険領域へ伝播。 - 適切な L の選択が、危険状態のカバレッジとラベルの正しさのバランスを取る。

4. どうやって有効だと検証した?

- 自動運転とロボットマニピュレーションのベンチマークで実験。 - 効率性と汎用性を示したと報告。 - 理論解析により、適切な preference horizon L の選択がアルゴリズムの最適性ギャップを抑えることを示す。 - 具体的なベースラインや指標は要旨からは不明。

5. 議論はある?

- preference horizon L の選択が重要で、危険状態のカバレッジとラベル正確性のトレードオフを調整する。 - 将来状態で agent が同じ行動を続け、ヒトが同じ介入を行うという仮定の妥当性は議論の余地がある。 - 理論解析は最適性ギャップの bound を示すが、詳細な条件は要旨からは不明。 - 実環境でのヒト介入コストや安全性評価は要旨からは不明。

6. 次に読むべき論文は?

- interactive imitation learning の代表的手法(例: DAgger など) - preference optimization を用いる手法(例: RLHF 系の preference learning) - 自動運転ベンチマーク(例: CARLA 系)やロボットマニピュレーションの benchmark に関する研究 - ヒト介入を用いた安全な強化学習・模倣学習の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyuan Cai, Zhenghao Peng, Bolei Zhou

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Learning from human involvement aims to incorporate the human subject to monitor and correct agent behavior errors. Although most interactive imitation learning methods focus on correcting the agent's action at the current state, they do not adjust its actions in future states, which may be potentially more hazardous. To address this, we introduce Predictive Preference Learning from Human Interventions (PPL), which leverages the implicit preference signals contained in human interventions to inform predictions of future rollouts. The key idea of PPL is to bootstrap each human intervention into L future time steps, called the preference horizon, with the assumption that the agent follows the same action and the human makes the same intervention in the preference horizon. By applying preference optimization on these future states, expert corrections are propagated into the safety-critical regions where the agent is expected to explore, significantly improving learning efficiency and reducing human demonstrations needed. We evaluate our approach with experiments on both autonomous driving and robotic manipulation benchmarks and demonstrate its efficiency and generality. Our theoretical analysis further shows that selecting an appropriate preference horizon L balances coverage of risky states with label correctness, thereby bounding the algorithmic optimality gap. Demo and code are available at: https://metadriverse.github.io/ppl

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI