Hi-WM: 人間参加型ワールドモデルによるロボットポストトレーニングのスケーラブル化

- 学習済みの world model を post-training の corrective substrate として使う枠組み Human-in-the-World-Model (Hi-WM) を提案。 - 方針: まず policy を world model 内で closed loop rollout し、失敗や誤りが生じた箇所で人間がモデル内で短い corrective action を与える。 - 中間状態を cache し rollback と branching を可能にすることで、1つの failure state から複数の corrective continuation を生成し、base policy が苦手な挙動周辺に dense supervision を得る。 - 得られた corrective trajectory を training set に戻して post-training する。 - 実世界の rigid/deformable 物体操作3タスク、2つの policy backbone で評価。

- 既存の human-in-the-loop pipeline は物理実行に縛られ、各 correction に robot time、scene setup、reset、実世界での operator supervision を要する。 - 一方、action-conditioned world model は主に imagination、synthetic data generation、policy evaluation 用に研究されてきた。 - Hi-WM は world model を『生成器・評価器』ではなく『再利用可能な corrective substrate』として使う点が新しい。 - 実世界成功率は base policy 比 +37.9 points、world-model closed-loop baseline 比 +19.0 points。 - world-model 評価と実世界性能の相関 r = 0.953 を示し、scalable robot post-training への有効性を主張。

- 学習された world model を post-training の corrective substrate として用いる。 - policy を world model 内で closed loop rollout する。 - rollout が incorrect/failure-prone になったら、人間がモデル内で直接 short corrective action を提供する。 - 中間状態を cache し、rollback と branching をサポートする。 - これにより単一 failure state を複数の corrective continuation に再利用でき、base policy が苦手な挙動周辺に dense supervision を生成する。 - 生成された corrective trajectory を training set に追加して post-training する。

- 実世界の manipulation タスク3つで評価。rigid と deformable の物体操作を含む。 - policy backbone は2種類で検証。 - 指標: 実世界成功率。base policy 比で平均 +37.9 points 改善。 - world-model closed-loop baseline 比で +19.0 points 改善。 - world-model 評価と実世界性能の相関は r = 0.953 と強い。

- 結果は、world model が generator や evaluator だけでなく、scalable robot post-training のための効果的な corrective substrate になり得ることを示唆する。 - 実世界実行に縛られない human-in-the-loop を可能にし、correction の再利用性と dense supervision を実現する点が議論の中心。 - 限界や失敗事例、計算コスト、world model の精度依存性などは要旨からは不明。

- 要旨で参照/比較されている研究: human-in-the-loop pipelines、action-conditioned world models、world-model closed-loop baseline。 - 関連手法として、imagination/synthetic data generation/policy evaluation に world model を用いる研究。 - 同分野の定番として、robot post-training、human-in-the-loop learning、model-based reinforcement learning、action-conditioned world models の文献を挙げる。