日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.11143

連続アクションチャンクのためのActor-Critic:スパース報酬下での長期的ロボットマニピュレーションのための強化学習フレームワーク

Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward

シェア:XThreadsFacebookLINEはてブBluesky

スパース報酬の長期的ロボット操作タスクにおいて、連続アクションチャンクを安定かつデータ効率的に学習する強化学習フレームワークAC3を提案。ActorとCriticの安定化機構により、少数のデモンストレーションで高い成功率を達成。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスク、特にsparse reward下での強化学習(RL)の困難を扱う研究 - 連続的なaction chunk(高次元の連続行動系列)をRLで直接学習するフレームワークAC3 (Actor-Critic for Continuous Chunks)を提案 - actorとcriticの双方に安定化機構を組み込むことで、安定かつdata-efficientな学習を目指す - BiGymとRLBenchの25タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存RL手法はlong-horizonなロボット操作、特にsparse rewardで苦戦 - action chunking自体は有望なパラダイムだが、RLで連続action chunkを安定・data-efficientに直接学習するのは未解決の課題 - AC3は少数のdemonstrationと単純なモデル構造で多くのタスクにおいて優れた成功率を達成 - 具体的な比較対象の数値は要旨からは不明

3. 技術・手法の肝は?

- 高次元の連続action sequenceを生成するRLフレームワーク - actor側: 成功したtrajectoryのみから学習するasymmetric update ruleで信頼性の高いpolicy improvementを狙う - critic側: intra-chunk n-step returnsで更新を安定化 - さらに各action chunkに揃えたanchor pointでintrinsic rewardを与えるself-supervised moduleでvalue learningを強化 - sparse reward下でのvalue learningを補助する設計

4. どうやって有効だと検証した?

- BiGymとRLBenchの計25タスクで広範な実験を実施 - 少数のdemonstrationと単純なモデル構造を用いて、ほとんどのタスクで優れた成功率を達成 - これにより設計の有効性を検証したと主張 - 具体的なベースラインやablationの詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として、asymmetric updateが成功trajectoryのみに依存することの限界、intrinsic rewardの設計依存性、タスク横断での汎化性などが考えられるが、本文の記述は要旨からは不明

6. 次に読むべき論文は?

- BiGymおよびRLBench(本論文の評価benchmark) - action chunking関連手法(例: ACT, Diffusion Policyなど同分野の定番) - sparse reward向けのintrinsic reward/self-supervised reward shaping関連研究 - 具体的に参照・比較された個別論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarui Yang, Bin Zhu, Jingjing Chen, Yu-Gang Jiang

分類: cs.RO, cs.AI

原文アブストラクト

Existing reinforcement learning (RL) methods struggle with long-horizon robotic manipulation tasks, particularly those involving sparse rewards. While action chunking is a promising paradigm for robotic manipulation, using RL to directly learn continuous action chunks in a stable and data-efficient manner remains a critical challenge. This paper introduces AC3 (Actor-Critic for Continuous Chunks), a novel RL framework that learns to generate high-dimensional, continuous action sequences. To make this learning process stable and data-efficient, AC3 incorporates targeted stabilization mechanisms for both the actor and the critic. First, to ensure reliable policy improvement, the actor is trained with an asymmetric update rule, learning exclusively from successful trajectories. Second, to enable effective value learning despite sparse rewards, the critic's update is stabilized using intra-chunk $n$-step returns and further enriched by a self-supervised module providing intrinsic rewards at anchor points aligned with each action chunk. We conducted extensive experiments on 25 tasks from the BiGym and RLBench benchmarks. Results show that by using only a few demonstrations and a simple model architecture, AC3 achieves superior success rates on most tasks, validating its effective design.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI