日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2607.06323

LAMP: 潜在運動事前分布による実世界での器用な手操作学習のガイド

LAMP: Latent Motion Prior-Guided Real-World Learning for Dexterous Hand Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

高次元の手の動作を扱う実世界学習の不安定さを解決するため、潜在運動事前分布モジュールを導入し、模倣学習とオンライン強化学習を組み合わせた3段階の学習フレームワークを提案。実ロボット4タスクで高い成功率を達成。

詳しい要約

1. どんなもの？

LAMPは、器用な手の操作タスクを実世界で学習するためのフレームワークです。高次元の手の動作空間での模倣学習(IL)とオンライン強化学習(RL)の非効率性やリスクを軽減するため、潜在動作事前分布モジュール(prior)を導入します。このモジュールは、最近の手の動作履歴をコンパクトな潜在空間にマッピングし、連続的な潜在コマンドを実行可能な高次元の手の目標にデコードします。LAMPは3段階の学習プロセスを採用し、デモンストレーションからpriorを事前学習し、視覚運動ポリシーを訓練し、オンライン残差RLでポリシーを改善します。

2. 先行研究と比べてどこがすごい？

先行研究では、ILとRLを組み合わせることで手動の監視を減らせるが、生の手の動作空間での探索はサンプル非効率で物理ハードウェアにリスクがありました。LAMPは、潜在動作事前分布を導入することで、探索をデモンストレーションに近い接触整合的な手の動作に限定し、個々の指関節を独立に摂動することを避けます。これにより、小さなデモンストレーションセットから高い成功率を達成し、オンラインRL後の改善も大きい点が優れています。

3. 技術・手法の肝は？

手法の核は、潜在動作事前分布モジュール(prior)です。これは、最近の手の動作履歴を履歴条件付きの潜在事前分布にマッピングし、連続的な潜在コマンドを実行可能な高次元の手の目標にデコードします。LAMPは3段階で構成されます。まず、デモンストレーションからpriorを事前学習します。次に、ネイティブなアームコマンドと潜在的な手の動作オフセットを予測する視覚運動ポリシーを訓練します。最後に、同じ潜在手動作空間でオンライン残差RLを用いてポリシーを改善します。この共有されたデコード可能なインターフェースにより、残差探索はデモンストレーションに近い接触整合的な手の動作の局所的な修正を行います。

4. どうやって有効だと検証した？

4つの実ロボットの器用な操作タスクで評価し、生の手動作インターフェース、線形、離散的な手動作インターフェースと比較しました。小さなタスク固有のデモンストレーションセットから開始し、LAMPは平均IL成功率56.25%を達成し、オンラインRL後に98.75%に向上しました。3つのタスクで最終成功率100%、残りの1タスクで95%を達成しました。

5. 議論はある？

要旨からは、議論の詳細は不明ですが、潜在動作事前分布の設計や、異なるタスクへの一般化、実世界での安全性、デモンストレーションの質や量の影響などが考えられます。また、成功率は高いものの、100%ではないタスクがあるため、さらなる改善の余地があるかもしれません。

6. 次に読むべき論文は？

要旨で参照されている研究は、ILとRLの組み合わせ、および手の動作空間の表現に関するものです。具体的な論文名は不明ですが、関連する分野として、模倣学習、強化学習、器用な操作のための潜在動作モデル、接触整合的な動作生成などの研究が挙げられます。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinye Yang, Zhiyuan Ma, Hongze Yu, Yuanpei Chen, Yaodong Yang, Xiaojie Chai, Xinlei Chen, Chao Yu

分類: cs.RO

原文アブストラクト

Real-world learning for dexterous hands remains brittle because high-dimensional hand actions amplify imitation errors and make reinforcement-learning exploration prone to contact-breaking motion. While combining imitation learning (IL) with online reinforcement learning (RL) can reduce manual supervision, unconstrained exploration in raw hand-action spaces is sample-inefficient and risky for physical hardware. We introduce a latent motion prior module (\prior{}) that maps recent hand-action histories to a compact, history-conditioned latent prior and decodes continuous latent commands into executable high-dimensional hand targets. Built on this prior, \method{} is a three-stage real-world dexterous learning framework: it pretrains \prior{} from demonstrations, trains a visuomotor policy that predicts native arm commands and latent hand-action offsets, and improves the policy with online residual RL in the same latent hand-action space. This shared, decodable interface lets residual exploration make local corrections near demonstrated, contact-consistent hand motions rather than perturbing every finger joint independently. We evaluate \method{} on four real-robot dexterous manipulation tasks against raw, linear, and discrete hand-action interfaces. Starting from small task-specific demonstration sets, \method{} achieves a 56.25\% average IL success rate and raises it to 98.75\% after online RL, reaching 100\% final success on three tasks and 95\% on the remaining task.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →