日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ポリシー評価arXiv:2605.11479

割引リビネス定式化による操作ポリシーのオフラインポリシー評価

Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation

シェア:XThreadsFacebookLINEはてブBluesky

スパース報酬と有限長ロールアウトによる打ち切りバイアスに頑健な、リビネスに基づくベルマン作用素を用いたオフラインポリシー評価手法を提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション政策のオフライン評価手法。 - スパース報酬、非単調なタスク進行、有限長ロールアウトによる打ち切りバイアスに対処。 - liveness-based Bellman operator を導入し、タスク完了問題として評価。 - 有限ホライズン打ち切りに頑健な保守的固定点価値関数を導出。

2. 先行研究と比べてどこがすごい?

- 従来の Bellman 方程式/最適性原理に基づく手法は無限ホライズンを仮定し、有限長で打ち切りバイアスが生じる。 - 提案手法は liveness-based operator により打ち切りバイアスを軽減し、タスク進行を反映。 - TD(0) や Monte Carlo 評価よりも正確にタスク進行を反映し、打ち切りバイアスを大幅に削減。

3. 技術・手法の肝は?

- liveness-based Bellman operator を提案。 - 政策評価をタスク完了問題として解釈。 - 収縮保証を含む理論的特性を分析。 - タスク進行をエンコードしつつ打ち切りバイアスを緩和する保守的固定点価値関数を生成。

4. どうやって有効だと検証した?

- 2つのシミュレーションマニピュレーションタスクで Vision-Language-Action モデルと diffusion policy を用いて評価。 - 人間のデモンストレーションを用いた cloth folding タスクでも評価。 - 実験結果から、提案手法がタスク進行をより正確に反映し、打ち切りバイアスを大幅に削減。 - TD(0) や Monte Carlo 評価などの古典的ベースラインを上回る性能を確認。

5. 議論はある?

- 理論的性質(収縮保証など)を分析。 - 打ち切りバイアス軽減とタスク進行エンコードのメカニズムを議論。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- TD(0) や Monte Carlo 政策評価(古典的ベースライン)。 - Vision-Language-Action モデル、diffusion policy(評価に使用)。 - 関連手法として liveness-based Bellman operator の原論文(要旨で参照されているが明示なし)。 - 同分野の定番として offline policy evaluation や Bellman operator に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal

分類: cs.RO, cs.AI

原文アブストラクト

Policy evaluation is a fundamental component of the development and deployment pipeline for robotic policies. In modern manipulation systems, this problem is particularly challenging: rewards are often sparse, task progression of evaluation rollouts are often non-monotonic as the policies exhibit recovery behaviors, and evaluation rollouts are necessarily of finite length. This finite length introduces truncation bias, breaking the infinite-horizon assumptions underlying standard methods relying on Bellman equations/principle of optimality. In this work, we propose a framework for offline policy evaluation from sparse rewards based on a liveness-based Bellman operator. Our formulation interprets policy evaluation as a task-completion problem and yields a conservative fixed-point value function that is robust to finite-horizon truncation. We analyze the theoretical properties of the proposed operator, including contraction guarantees, and show how it encodes task progression while mitigating truncation bias. We evaluate our method on two simulated manipulation tasks using both a Vision-Language-Action model and a diffusion policy, and a cloth folding task using human demonstrations. Empirical results demonstrate that our approach more accurately reflects task progress and substantially reduces truncation bias, outperforming classical baselines such as TD(0) and Monte Carlo policy evaluation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI