強化学習/人間介入2026/11/5arXiv:2611.08576

人間介入からの楽観的探索によるロボット学習Q-OIL

Q-OIL: Optimistic Exploration in Learning from Human Interventions

実ユーザーの介入行動を分析し、進捗停滞時に介入し修正は非最適という傾向をモデル化。介入遷移に楽観的ボーナスを与え人間の修正へ探索を誘導するQ-OILを提案し、シミュレーションと実機で成功率を10-50%向上させた。

詳しい要約

1. どんなもの？

- 人間の介入からロボットを学習させる手法 Q-OIL を提案する研究 - 実世界でロボットが失敗する状況を前提に、人間の介入フィードバックを活用してオンライン適応を目指す - 実世界実験の高コストを踏まえ、シミュレーション上の人間モデル構築とアルゴリズム開発の両面を扱う - 実参加者の介入データ分析に基づく進捗ベースの人間介入モデルと、それに基づく強化学習手法から成る

2. 先行研究と比べてどこがすごい？

- 従来のシミュレーションにおける人間モデリングの仮定が、実人間の介入行動と一致しないことを示した - 実データ分析から、人間は agent の進捗が停滞した時に介入し、その修正行動はしばしば suboptimal であることを発見 - 提案する進捗ベースの人間介入モデルは、実ユーザによるアルゴリズム順位との rank correlation がより高い - これによりシミュレーション上での現実的なベンチマークとアルゴリズム開発が可能になる点が新しい

3. 技術・手法の肝は？

- 進捗ベースの人間介入モデルを構築し、実ユーザのアルゴリズム評価順位と整合するシミュレーション評価を実現 - Q-OIL は reinforcement learning において介入遷移に optimistic bonus を付与する - 人間の修正方向へ探索を softly に誘導する仕組みを持つ - decoupled critics が安定性に重要であり、bonus が介入前状態へ back up するのを防ぐ

4. どうやって有効だと検証した？

- 実参加者の介入データを分析し、人間の介入タイミングと修正行動の性質を明らかにした - 提案する人間介入モデルと実ユーザのアルゴリズム順位との rank correlation を評価 - シミュレーションおよび実ロボットで競合 baseline より 10-50% 高い success を達成 - 2 つの bimanual manipulation タスクで pretrained VLA を改善

5. 議論はある？

- 実世界の human-in-the-loop 学習は遅く高コストなため、シミュレーション上の人間モデルに依存する難しさがある - 実人間の介入は停滞時に起きやすく、修正が suboptimal であるという現実をアルゴリズム設計に反映する必要性を指摘 - decoupled critics がない場合に bonus が介入前状態へ伝播し不安定化する点が議論される - 実ロボットや pretrained VLA への適用可能性が示される一方、詳細な限界は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている具体的な先行研究名は不明 - 関連手法として reinforcement learning from human interventions、human-in-the-loop robot learning、optimistic exploration、decoupled critics に関する研究 - pretrained VLA や bimanual manipulation に関する研究 - 進捗ベースの人間介入モデルやシミュレーション上の人間モデリングに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav Teegavarapu, Sriyash Poddar, Rico Qi, Cleah Winston, Krisha Khandelwal, Aykut Onyol, Natasha Jaques, Abhishek Gupta

分類: cs.RO, cs.AI

原文アブストラクト

As robots are deployed in the real world, they will inevitably make mistakes. Human interventions provide valuable feedback for improving their behavior, enabling them to adapt online to new scenarios. However, studying human-in-the-loop robot learning is difficult: real-world experiments are slow and expensive, so most algorithm development relies on simulated human models. We show that common human modeling assumptions do not match how real people intervene in practice. Through analyzing intervention data from human participants, we find that humans tend to intervene when agent progress stalls, and that their corrective actions are often suboptimal. Motivated by these findings, we introduce a progress-based model of human intervention that achieves higher rank correlation with real-user algorithm rankings, enabling realistic algorithm benchmarking and development in simulation. Building on these insights, we propose Q-OIL, a method that adds optimistic bonuses to intervention transitions in reinforcement learning and softly guides exploration toward human corrections. We find that decoupled critics are critical for stability because they prevent the bonuses from backing up to pre-intervention states. As a result, Q-OIL learns more efficiently than competitive baselines, achieving 10-50% higher success in simulation and on real robots, and improving pretrained VLAs on two bimanual manipulation tasks. As we ground both evaluation and algorithms in realistic human behavior, this work provides a practical path toward scalable robot learning from interventions.

arXivで原文を読む →arXiv概要ページ

← 論文一覧