日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.29264

配備中に学習するヒューマンインザループ型オンライン事後学習システム

Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

展開中に人間の介入とポリシー生成ロールアウトからオンラインでポリシーを更新する、批評家や報酬モデル不要の教師あり学習フレームワークを提案し、実世界の両腕マニピュレーション4タスクで有効性を示した。

詳しい要約

1. どんなもの?

- 大規模pretrained robot foundation modelを対象タスクへ適応させるためのhuman-in-the-loop online post-training system「TIDE (Training In DEployment)」 - deployment中に収集されるhuman interventionsとpolicy-generated rolloutsから、policyをオンラインで更新する - learned critic・reward model・action scorerを必要としない - 4つのreal-world bimanual manipulationタスクで評価

2. 先行研究と比べてどこがすごい?

- 従来のoffline post-trainingはdeployment経験を即座に吸収できず適応が遅い - 既存のhuman-in-the-loopデータ拡張やonline reinforcement learningは、value functionやauxiliary actor-critic modelに依存し訓練の複雑性と不安定性が増す - TIDEはcritic・reward model・action scorerなしでオンライン更新を実現 - warm-start policyやmatched additional offline demonstrationsを上回る性能 - fixed-policy collection baselineと同等の性能を、deployment中に更新済みcheckpointを提供しつつ達成

3. 技術・手法の肝は?

- provenance-conditioned supervised learning frameworkを導入 - deployment中に収集したhuman interventionsとpolicy-generated rolloutsを情報源としてpolicyをオンライン更新 - learned critic・reward model・action scorerを不要とする構成 - 学習とcheckpoint handlingをasynchronouslyに実行 - 各タスクのonline post-training sessionはdeployment rollouts開始から最終checkpoint入手まで1時間未満

4. どうやって有効だと検証した?

- 4つのreal-world bimanual manipulationタスクで検証 - 評価指標はmilestone-normalized task progressとbinary full-task completion - warm-start policyおよびmatched additional offline demonstrationsに対して改善 - fixed-policy collection baselineとは同等の性能 - 更新済みcheckpointをdeployment中に利用可能にしつつ、1時間未満でsession完了

5. 議論はある?

- offline post-trainingの適応の遅さとonline RLの複雑性・不安定性という課題への対処を主張 - critic・reward model・action scorerなしでオンライン更新可能な点を利点として提示 - 具体的な限界や失敗ケース、タスク間のばらつきについては要旨からは不明 - 詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及されるoffline teleoperated demonstrationsによるpost-training - human-in-the-loop data augmentationを用いる既存手法 - online reinforcement learning(value functionやactor-critic modelを用いる手法) - robot foundation modelのpretraining - 同分野の定番としてimitation learning / behavior cloning、DAgger系のinteractive imitation learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chun Gu, Xiaofei Wei, Yiming Chen, Bozhou Zhang, Juntong Zhang, Xiatian Zhu, Li Zhang

分類: cs.RO

原文アブストラクト

Large pretrained robot foundation models provide strong priors for manipulation, yet adapting them to target tasks with offline teleoperated demonstrations often fails to cover the contact-rich, recovery, and precision-critical states encountered during deployment. Existing methods mitigate this issue by augmenting offline demonstrations with human-in-the-loop data or online reinforcement learning. Despite this, offline post-training adapts slowly because it cannot immediately absorb deployment experience, while online RL typically relies on value functions or auxiliary actor-critic models, increasing both training complexity and instability. We present TIDE (Training In DEployment), a human-in-the-loop online post-training system. TIDE introduces a provenance-conditioned supervised learning framework that updates the policy online from human interventions and policy-generated rollouts collected during deployment, without a learned critic, reward model, or action scorer. Across four real-world bimanual manipulation tasks, TIDE improves milestone-normalized task progress and binary full-task completion over the warm-start policy and matched additional offline demonstrations, and performs comparably to the fixed-policy collection baseline while making updated checkpoints available during deployment. Each task-specific online post-training session, from the start of deployment rollouts until the final checkpoint is available, completes in less than one hour while learning and checkpoint handling run asynchronously.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI