日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.09580

SERNF: 正規化フローとアクションチャンク批評家によるサンプル効率の高い実世界器用把持ポリシーのファインチューニング

SERNF: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

シェア:XThreadsFacebookLINEはてブBluesky

正規化フローで多峰性のある行動チャンクの正確な尤度を計算し、チャンク単位の批評家で価値推定を行うことで、実機ロボットの器用な操作ポリシーを少ない試行回数で安定にファインチューニングする手法を提案。

詳しい要約

1. どんなもの?

- 実世界でのdexterous manipulation policyのfine-tuningは、限られたinteraction budgetとmultimodal action distributionのため困難。 - Diffusion-based policiesは表現力が高いが、fine-tuning時のconservative likelihood-based updatesが不可能。 - 従来のGaussian policiesはmultimodalityで崩壊し、action chunks実行時にper-step criticsがcredit assignmentに失敗。 - 本研究ではnormalizing flow (NF)を用いたsample-efficient off-policy fine-tuning framework「SERFN」を提案。 - 実ロボットハードウェア上で、likelihood-based multimodal generative policyとchunk-level value learningを組み合わせた初の実証。

2. 先行研究と比べてどこがすごい?

- Diffusion-based policiesは表現力があるが、fine-tuning時にconservative likelihood-based updatesができない。 - 従来のGaussian policiesはmultimodalityで崩壊し、特にaction chunks実行時に問題。 - 標準的なper-step criticsはchunked executionと整合せず、credit assignmentが悪化。 - SERFNはnormalizing flowでexact likelihoodsを実現し、multimodal action chunksに対応。 - action-chunked criticでvalue estimationをpolicyの時間構造に整合させ、long-horizon credit assignmentを改善。 - 実ロボットでのlikelihood-based multimodal generative policyとchunk-level value learningの初の組み合わせ。

3. 技術・手法の肝は?

- normalizing flow (NF) policyを採用し、multimodal action chunksに対してexact likelihoodsを算出。 - likelihood regularizationによるconservativeで安定したpolicy updatesを実現し、sample efficiencyを向上。 - action-chunked criticがaction sequences全体を評価し、value estimationをpolicyの時間構造に整合。 - off-policy fine-tuning frameworkとして設計。

4. どうやって有効だと検証した?

- 実世界の2つの難易度の高いdexterous manipulationタスクで評価。 - タスク1: cutting tape with scissors retrieved from a case。 - タスク2: in-hand cube rotation with a palm-down grasp。 - 両タスクとも長いhorizonにわたる精密で器用な制御が必要。 - SERFNは標準手法が苦戦する中で、安定かつsample-efficientな適応を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Diffusion-based policies, Gaussian policies, per-step critics。 - 関連手法: normalizing flow, action-chunked critic。 - 同分野の定番: dexterous manipulation, off-policy fine-tuning, multimodal action distributions。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyu Yang, Denis Tarasov, Davide Liconti, Romain Guntz, Hehui Zheng, Robert K. Katzschmann

分類: cs.RO, cs.LG

原文アブストラクト

Real-world fine-tuning of dexterous manipulation policies remains challenging due to limited real-world interaction budgets and highly multimodal action distributions. Diffusion-based policies, while expressive, do not permit conservative likelihood-based updates during fine-tuning because action probabilities are intractable. In contrast, conventional Gaussian policies collapse under multimodality, particularly when actions are executed in chunks, and standard per-step critics fail to align with chunked execution, leading to poor credit assignment. We present SERFN, a sample-efficient off-policy fine-tuning framework with normalizing flow (NF) to address these challenges. The normalizing flow policy yields exact likelihoods for multimodal action chunks, allowing conservative, stable policy updates through likelihood regularization and thereby improving sample efficiency. An action-chunked critic evaluates entire action sequences, aligning value estimation with the policy's temporal structure and improving long-horizon credit assignment. To our knowledge, this is the first demonstration of a likelihood-based, multimodal generative policy combined with chunk-level value learning on real robotic hardware. We evaluate SERFN on two challenging dexterous manipulation tasks in the real world: cutting tape with scissors retrieved from a case, and in-hand cube rotation with a palm-down grasp -- both of which require precise, dexterous control over long horizons. On these tasks, SERFN achieves stable, sample-efficient adaptation where standard methods struggle.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI