日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2603.16542

後続遷移の再重み付けによる保守的オフラインロボット方策学習

Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting

シェア:XThreadsFacebookLINEはてブBluesky

ロボットのオフライン事後学習で、各サンプルの行動後の結果に基づいて学習への影響度を再重み付けする手法PTRを提案。不均一なデータセットでの保守的な適応を改善する。

詳しい要約

1. どんなもの?

オフライン事後学習で事前学習済みロボット方策を対象データセットに適応させる手法。ロボットデータはembodiment・camera setup・品質が混在し、recovery behaviorや一貫性のない操作技能、弱い監督を含むため、均一な事後学習は矛盾・低寄与データを平均化してしまう。そこでPosterior-Transition Reweighting (PTR)を提案。報酬不要で保守的な事後学習法であり、各訓練サンプルがsupervised updateにどれだけ影響すべきかを決める。

2. 先行研究と比べてどこがすごい?

従来のオフライン事後学習は記録されたactionへのsupervised regressionで全サンプルを均等に扱う。PTRはサンプルごとのpost-action consequenceの帰属度に応じてcreditを再配分し、均一に監督を信頼しない点が異なる。報酬不要で、tractableなpolicy likelihoodを必要とせず、diffusionおよびflow-matching action headと互換。異種ロボットデータへの保守的オフライン適応を改善する。

3. 技術・手法の肝は?

各サンプルで観測されたpost-action consequenceをlatent targetにエンコードし、mismatched targetsのcandidate poolに挿入。別のtransition scorerでtarget indices上のsoftmax identification posteriorを推定。posterior-to-uniform比がPTR scoreを定義し、clipped-and-mixed weightに変換。self-normalized weighted regressionで元のaction objectiveに適用。tractableなpolicy likelihood不要でdiffusion/flow-matching action headに対応。

4. どうやって有効だと検証した?

要旨からは不明。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法としてoffline post-training、supervised regression、diffusion policy、flow-matching action headが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanpeng Zhang, Hao Luo, Sipeng Zheng, Yicheng Feng, Haiweng Xu, Ziheng Xi, Chaoyi Xu, Haoqi Yuan, Zongqing Lu

分類: cs.RO

原文アブストラクト

Offline post-training adapts a pretrained robot policy to a target dataset by supervised regression on recorded actions. In practice, robot datasets are heterogeneous: they mix embodiments, camera setups, and demonstrations of varying quality, so many trajectories reflect recovery behavior, inconsistent operator skill, or weakly informative supervision. Uniform post-training gives equal credit to all samples and can therefore average over conflicting or low-attribution data. We propose Posterior-Transition Reweighting (PTR), a reward-free and conservative post-training method that decides how much each training sample should influence the supervised update. For each sample, PTR encodes the observed post-action consequence as a latent target, inserts it into a candidate pool of mismatched targets, and uses a separate transition scorer to estimate a softmax identification posterior over target indices. The posterior-to-uniform ratio defines the PTR score, which is converted into a clipped-and-mixed weight and applied to the original action objective through self-normalized weighted regression. This construction requires no tractable policy likelihood and is compatible with both diffusion and flow-matching action heads. Rather than uniformly trusting all recorded supervision, PTR reallocates credit according to how attributable each sample's post-action consequence is under the current representation, improving conservative offline adaptation to heterogeneous robot data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI