直接経験による世界モデル最適化：行動模倣を超えた世界の学習

- World-Action Models (WAMs) のための post-deployment learning パラダイム DEWO を提案。 - 行動模倣に加え、視覚経験から world representation を洗練し、action generation の条件付けを改善。 - 相互作用の turning points を特定し、成功・失敗の future から学習し classifier-free guidance を支援。 - value head が video representation から task progress を推定し、推論時に進捗停滞で guidance を起動。 - 対象は dexterous manipulation を含むタスク。

- 従来の post-deployment learning は、より良い world prediction を要求せず behavior を改善する傾向。 - 特に dexterous manipulation では高次元 action space で小さな実行誤差が累積し、policy 改善を妨げ、world model の training distribution を超える。 - DEWO は world modeling を WAM 適応の能動的要素とし、予測学習を制御改善に結びつける点が異なる。 - 要旨からは、具体的な先行研究名や比較の詳細は不明。

- WAMs の post-deployment learning として、action imitation と並行して visual experience から world representations を洗練。 - interaction turning points を特定し、successful/failed futures から学習して classifier-free guidance を支援。 - value head が video representations から task progress を推定。 - 推論時に progress が停滞すると guidance を起動。 - これにより action generation の条件付けを改善。

- 5つの DexJoCo tasks で、3つの WAM formulations すべてにおいて平均 success を改善。 - Ablations により、successful/failed continuations からの visual supervision が action supervision 単独を超えて prediction と control を改善することを示す。 - 実世界4タスク (Wuji と Sharpa) で 3x3 grid evaluations を実施。 - 2ラウンドの deployment learning で、少なくとも1回初期成功したセルにおいて success が 51.0% から 71.7% へ増加 (20.7 percentage points の gain)。

- 予測学習を継続することが deployment experience を通じた制御改善に寄与することを支持。 - world modeling を WAM adaptation の能動的部分と位置づける。 - 要旨からは、限界や失敗事例、計算コスト、一般化可能性に関する議論は不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として World-Action Models (WAMs)、classifier-free guidance、value head、DexJoCo tasks、Wuji、Sharpa が挙げられる。 - 同分野の定番として dexterous manipulation や world model を用いた model-based RL の文献が次に読む候補。 - 具体的な論文名は要旨からは不明。