日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.19129

幾何学的ホライズンモデルによる目標想像と方策の汎化

Imagining Goals with Geometric Horizon Models for Policy Generalization

シェア:XThreadsFacebookLINEはてブBluesky

幾何学的ホライズンモデルからサンプリングして新たな目標を想像し、目標条件付き模倣学習の方策を訓練することで、未見タスクへの汎化性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- オフラインデータから学習したロボティクス政策のゼロショット目標汎化を改善する研究。 - 未見タスクで既存知識を組み合わせる compositional generalization が課題。 - 提案手法 TD-Aug は geometric horizon model からサンプリングし、新たな成果を想像する。 - 想像した成果を goal として goal-conditioned BC 政策を訓練。 - stitching-based OGBench タスクで汎化性能を検証。

2. 先行研究と比べてどこがすごい?

- 従来のオフライン学習は modeling objective と静的データにより汎化が不十分。 - world model による新経験生成は長い horizon で困難。 - TD-Aug は geometric horizon model を用いて長 horizon 問題を緩和。 - 既存知識を組み合わせた novel outcomes を直接想像可能。 - これにより stitching-based OGBench で汎化が大幅改善。

3. 技術・手法の肝は?

- geometric horizon model からサンプリングする TD-Aug を提案。 - このモデルは将来の outcomes を幾何学的に表現。 - サンプルした outcomes を goal として利用。 - goal-conditioned BC 政策を訓練。 - 既存知識の composition を促す。

4. どうやって有効だと検証した?

- stitching-based OGBench タスクで評価。 - 未来の outcomes を goal として訓練した政策の汎化を検証。 - ゼロショット目標汎化性能を測定。 - 結果、汎化が有意に改善。 - 詳細な実験設定は要旨からは不明。

5. 議論はある?

- 長 horizon の world model 生成の困難さを指摘。 - オフラインデータからの汎化の限界に対処。 - TD-Aug の有効性を示すが、限界や議論は要旨からは不明。 - 他のタスクや実世界への適用可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として world models、goal-conditioned BC、OGBench が挙げられる。 - 同分野の定番として offline RL、model-based RL、compositional generalization に関する論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniel Lawson, Dhruv Sreenivas, Adriana Hugessen, Khimya Khetarpal, Glen Berseth

分類: cs.LG, cs.AI

原文アブストラクト

Training from offline data has allowed for substantial progress in domains such as robotics, leading to general-purpose policies that can be easily applied zero-shot or efficiently finetuned for downstream tasks. However, these policies can still have poor generalization, both due to the choice of modeling objective and from learning from a static dataset. In this work, we focus on the challenging task of zero-shot goal generalization, where a policy is evaluated on unseen tasks that require combining its existing knowledge (compositional generalization). An avenue for improving a policy's generalization is by generating new experience with world models; however, such generation has proven difficult for longer horizons. Thus, to alleviate this issue, we propose TD-Aug, which samples from a geometric horizon model and allows for directly imagining novel outcomes that can be achieved by composing existing knowledge. We demonstrate that training on these future outcomes as goals for goal-conditioned BC policies significantly improves generalization in stitching-based OGBench tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI