日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2604.12509

準最適コントローラを用いたオフライン強化学習による全身移動マニピュレーション

Whole-Body Mobile Manipulation using Offline Reinforcement Learning on Sub-optimal Controllers

シェア:XThreadsFacebookLINEはてブBluesky

準最適な全身コントローラで収集したデータをオフライン強化学習で改善し、移動マニピュレーションのポリシーを学習する手法を提案。シミュレーションで優れた性能を示し、実機にも直接転送可能。

詳しい要約

1. どんなもの?

- 移動マニピュレータによる全身操作(MoMa)を対象とした研究。 - ドア、引き出し、戸棚などの関節物体を操作するため、ベースとアームの同時協調が必要。 - WHOLE-MoMa という2段階パイプラインを提案。 - 第1段階で軽量なWBCをランダム化して多様なデモを生成。 - 第2段階でオフラインRLを適用し、報酬信号を用いて改善行動を同定・結合。 - シミュレーションと実機で評価。

2. 先行研究と比べてどこがすごい?

- 従来のWBCは階層最適化で解くが、手作業のチューニングが多く脆い。 - 学習ベース手法は汎化性が高いが、高コストな全身テレオペデータや報酬設計に依存。 - 本研究は、劣ったWBCでも構造的事前情報として有用であることを観察。 - テレオペデータや実世界訓練データなしで、WBC、BC、複数のオフラインRLベースラインを大幅に上回る。 - 実機に直接転移し、両手引き出し操作で80%、戸棚開けと物体配置の同時実行で68%の成功率。

3. 技術・手法の肝は?

- 2段階パイプライン:まず軽量WBCをランダム化して多様なデモを生成。 - 次にオフラインRLで報酬信号を用いて改善行動を同定・結合。 - 複雑な協調タスクに必要な表現力豊かなaction-chunked diffusion policiesをサポート。 - オフラインimplicit Q-learningを拡張し、Q-chunkingを導入。 - チャンクレベルのcritic評価とadvantage-weighted policy extractionを実現。

4. どうやって有効だと検証した?

- シミュレーションでTIAGo++移動マニピュレータを使用。 - 難易度が増加する3つのタスクで評価。 - WBC、behavior cloning、複数のオフラインRLベースラインと比較。 - WHOLE-MoMaが大幅に優れることを確認。 - 実機に直接転移し、両手引き出し操作で80%、戸棚開けと物体配置の同時実行で68%の成功率を達成。 - テレオペや実世界訓練データなしで実現。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Classical whole-body controllers (WBCs)、Learning-based methods、behavior cloning、offline RL baselines。 - 関連手法:offline implicit Q-learning、Q-chunking、action-chunked diffusion policies。 - 同分野の定番:mobile manipulation、whole-body control、offline reinforcement learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Snehal Jauhri, Vignesh Prasad, Georgia Chalvatzaki

分類: cs.RO, cs.CV

原文アブストラクト

Mobile Manipulation (MoMa) of articulated objects, such as opening doors, drawers, and cupboards, demands simultaneous, whole-body coordination between a robot's base and arms. Classical whole-body controllers (WBCs) can solve such problems via hierarchical optimization, but require extensive hand-tuned optimization and remain brittle. Learning-based methods, on the other hand, show strong generalization capabilities but typically rely on expensive whole-body teleoperation data or heavy reward engineering. We observe that even a sub-optimal WBC is a powerful structural prior: it can be used to collect data in a constrained, task-relevant region of the state-action space, and its behavior can still be improved upon using offline reinforcement learning. Building on this, we propose WHOLE-MoMa, a two-stage pipeline that first generates diverse demonstrations by randomizing a lightweight WBC, and then applies offline RL to identify and stitch together improved behaviors via a reward signal. To support the expressive action-chunked diffusion policies needed for complex coordination tasks, we extend offline implicit Q-learning with Q-chunking for chunk-level critic evaluation and advantage-weighted policy extraction. On three tasks of increasing difficulty using a TIAGo++ mobile manipulator in simulation, WHOLE-MoMa significantly outperforms WBC, behavior cloning, and several offline RL baselines. Policies transfer directly to the real robot without finetuning, achieving 80% success in bimanual drawer manipulation and 68% in simultaneous cupboard opening and object placement, all without any teleoperated or real-world training data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI