日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.38357

スキル分布アライメントとスキル単位最適化によるロボット方策の改善

CSO: Refining Robotic Policies via Skill Distribution Alignment and Skill-Grained Optimization

シェア:XThreadsFacebookLINEはてブBluesky

VQ-VAEで離散化したスキル方策の量子化誤差を、成功軌跡への教師あり微調整とスキル単位のクリップ付き重要度比による強化学習の二段階ポスト学習で補正し、LIBERO成功率を80.1%から97.5%へ向上させた。

詳しい要約

1. どんなもの?

- 連続行動を VQ-VAE 等で離散 skill に量子化するロボット操作方策の性能を、post-training で改善する枠組み - 名称は Cascaded Skills Optimization (CSO) - 二段階構成 - 第一段階: Rejection-Sampling Supervised Fine-tuning - 第二段階: Skills Policy Optimization - 軽量な QueST-style policy を対象に適用

2. 先行研究と比べてどこがすごい?

- 量子化誤差により skill prior の分布が準最適になり性能が劣化する問題を扱う - 強化学習による refinement の直接適用は encoder 更新の不安定さと importance sampling の粒度ジレンマを抱える - CSO は二段階 post-training でこれらを回避 - 比較対象の FAST、discrete BEAST、fixed-buffer IQL に対し二段階戦略の有効性を確認

3. 技術・手法の肝は?

- 第一段階 Rejection-Sampling Supervised Fine-tuning - 成功した online trajectory の分布に observation-to-skill 写像を supervised fine-tuning で整合 - 第二段階 Skills Policy Optimization - observation encoder を凍結 - 完結した skill 単位で独立した clipped importance ratio を計算し、安定かつ効率的に更新

4. どうやって有効だと検証した?

- LIBERO で overall success を 80.1% から 97.5% へ向上 - RoboTwin2.0 で性能改善 - 実機の単腕タスク5種で 61.0% の success - FAST、discrete BEAST、fixed-buffer IQL との追加比較で二段階 post-training の有効性を検証

5. 議論はある?

- 要旨からは不明 - 明示されているのは encoder 更新の不安定さと importance sampling の粒度ジレンマへの対処、および各ベンチマークでの改善結果

6. 次に読むべき論文は?

- QueST-style policy(本手法が対象とする軽量方策) - VQ-VAE による離散 skill 化の関連研究 - FAST - discrete BEAST - fixed-buffer IQL - LIBERO および RoboTwin2.0 を用いた関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiyuan Xiang, Xiang Deng, Wanjie Tao, Xu Chen, Zhao Jielun, Weili Guan

分類: cs.RO, cs.LG

原文アブストラクト

Discretizing continuous actions into discrete skills using methods like VQ-VAE has emerged as a powerful paradigm for robotic manipulation. However, quantization errors yield a suboptimal distribution for the skill prior, degrading its performance. While reinforcement learning offers a path for refinement, its direct application faces unstable encoder updates and a granularity dilemma in importance sampling. To address these challenges, we introduce Cascaded Skills Optimization (CSO), a two-stage post-training framework. First, Rejection-Sampling Supervised Fine-tuning aligns the model's observation-to-skill mapping with the distribution of successful online trajectories via supervised fine-tuning. Second, with the observation encoder frozen, Skills Policy Optimization computes an independent, clipped importance ratio for each complete skill, enabling stable and efficient updates. With a lightweight QueST-style policy, CSO raises overall LIBERO success from 80.1% to 97.5%, improves performance on RoboTwin2.0, and achieves 61.0% success across five physical single-arm tasks. Additional comparisons with FAST, discrete BEAST, and fixed-buffer IQL further validate the effectiveness of our two-stage post-training strategy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI