日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.19924

照明変化に頑健な人間参加型ロボット強化学習

RoHIL: Robust Human-in-the-Loop Robotic Reinforcement Learning Against Illumination Variations

シェア:XThreadsFacebookLINEはてブBluesky

照明変化による視覚分布のずれで性能が落ちる問題に対し、追加の実ロボット操作なしで、画像の再照明と忘却防止機構を組み合わせたオフライン微調整フレームワークRoHILを提案した。

詳しい要約

1. どんなもの?

本論文は、Human-in-the-loop reinforcement learning (HIL-RL) が訓練したワークステーションから数メートル離れた別のワークステーションにロボットを移動させると、ランプ位置や窓光の変化による視覚入力分布のシフトで性能が崩壊する問題に対処する。追加の実ロボット相互作用を必要としない offline fine-tuning フレームワーク RoHIL を提案する。RoHIL は、(i) world-model-based image relighter により source-workstation の軌道の視覚ストリームを複数の仮想 HDRI 環境下で再合成し、action と reward は実のまま保持する、(ii) Illumination-Retention Replay (IRR) により relit adaptation transitions と original-light retention transitions を交互に配置し source-workstation の Bellman coverage を保持する、(iii)…

2. 先行研究と比べてどこがすごい?

従来の HIL-RL は訓練したワークステーションではほぼ完璧な成功を達成するが、数メートル離れたワークステーションでは視覚入力分布のシフトにより崩壊する。各ワークステーションでデモを再収集し HIL を再実行することは展開と両立せず、shifted-light データで単純に fine-tuning すると source workstation の catastrophic forgetting を引き起こす。RoHIL は追加の実ロボット相互作用なしでこの cross-domain gap を埋め、標準的な HIL-RL が崩壊する shifted-light 性能を大幅に改善しつつ source-workstation 性能を保持し、新しいワークステーションや環境ごとにデータ再収集と再訓練を不要にする点が先行研究と比べて優れている。

3. 技術・手法の肝は?

RoHIL の技術的肝は3つ。(i) world-model-based image relighter: source-workstation 軌道の視覚ストリームを複数の仮想 HDRI 環境下で再合成し、action と reward は実のまま保持する。(ii) Illumination-Retention Replay (IRR): relit adaptation transitions と original-light retention transitions を交互に配置するデータレベルの anti-forgetting 機構で、source-workstation の Bellman coverage を保持する。(iii) anchored Bellman-actor regulariser: 元の source-workstation policy からの表現と policy のドリフトを制約する。これらを offline fine-tuning フレームワークとして統合し、追加の実ロボット相互作用を不要にする。

4. どうやって有効だと検証した?

4つの実ロボット manipulation タスクにおいて、大きな cross-workstation illumination variations 下で検証した。結果として、標準的な HIL-RL が崩壊する shifted-light 性能を RoHIL は大幅に改善し、同時に source-workstation 性能を保持することを示した。これにより、新しいワークステーションや環境ごとにデータ再収集と再訓練を行う必要がなくなることを実証した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として HIL-RL、offline fine-tuning、catastrophic forgetting、world-model-based image relighting、Illumination-Retention Replay (IRR)、anchored Bellman-actor regulariser が挙げられる。関連手法として、同分野の定番である Human-in-the-loop reinforcement learning、offline reinforcement learning、domain randomization、image-to-image translation などが次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuoqin Zhang, Yixin Xiong, Xiru Gao, Kai Liu, Ke Wang, Xichuan Zhou, Zhe Hu

分類: cs.RO

原文アブストラクト

Human-in-the-loop reinforcement learning systems achieve near-perfect success on the workstation where they are trained, but collapse when the same robot is moved to a workstation a few meters away due to shifts in the visual input distribution caused by new lamp positions and window light. Re-collecting demonstrations and re-running HIL on every workstation is incompatible with deployment, and naively fine-tuning on shifted-light data triggers catastrophic forgetting of the source workstation. To close this cross-domain gap, we present RoHIL, an offline fine-tuning framework that uses no extra real-robot interaction. RoHIL combines (i) a world-model-based image relighter that re-synthesises the visual stream of source-workstation trajectories under multiple virtual HDRI environments, leaving actions and rewards real; (ii) Illumination-Retention Replay (IRR), a data-level anti-forgetting mechanism that interleaves relit adaptation transitions with original-light retention transitions to preserve source-workstation Bellman coverage; and (iii) an anchored Bellman-actor regulariser that constrains representation and policy drift from the original source-workstation policy. Across four real-robot manipulation tasks under significant cross-workstation illumination variations, RoHIL substantially improves shifted-light performance where standard HIL-RL collapses, while preserving source-workstation performance, eliminating the need to re-collect data and retrain for every new workstation and environment. Project page: https://anonymous4365.github.io/RoHIL/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI