日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.05574

PRISM: 人間の指示による操作スキルの模倣学習の個別最適化

PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習と強化学習を組み合わせ、人間の指示とフィードバックで操作ポリシーを洗練する手法を提案。シミュレーションのピックアンドプレースで有効性を実証。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける模倣学習ポリシーを、人間の指示に基づいて洗練する手法「PRISM」を提案。 - 模倣学習(IL)と強化学習(RL)をシームレスに統合し、汎用的なタスクの模倣ポリシーを、強化学習を通じて新しい未見の細かい動作に洗練させる。 - 洗練プロセスはEurekaパラダイムに従い、自然言語のタスク記述から報酬関数を反復的に生成。 - 中間ロールアウトに対する人間のフィードバック補正を追加し、新しい目標設定や制約の導入に適応。 - シミュレーションでのpick-and-placeタスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習と強化学習の統合手法と比較して、人間のフィードバックを組み込むことで、ポリシーの再利用性とデータ効率を向上。 - 人間のフィードバックなしのポリシーよりも、展開時のロバスト性が向上し、計算負荷が低減。 - Eurekaパラダイムを基盤としつつ、人間の補正を追加することで、より効率的な洗練を実現。

3. 技術・手法の肝は?

- 模倣学習(IL)と強化学習(RL)をパイプライン化。 - ユーザーガイド付きデモンストレーションから汎用タスクの模倣ポリシーを生成。 - Eurekaパラダイムに従い、自然言語のタスク記述から報酬関数を反復生成。 - 中間ロールアウトに人間のフィードバック補正を追加し、新しい目標設定や制約に適応。 - これによりポリシーの再利用性とデータ効率を実現。

4. どうやって有効だと検証した?

- シミュレーション環境でのpick-and-placeタスクで評価。 - 提案手法が人間のフィードバックなしのポリシーよりも優れ、展開時のロバスト性が向上し、計算負荷が低減することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Eureka(自然言語からの報酬生成パラダイム) - 模倣学習(Imitation Learning) - 強化学習(Reinforcement Learning) - 人間のフィードバックを用いた強化学習(RLHF)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arnau Boix-Granell, Alberto San-Miguel-Tello, Magí Dalmau-Moreno, Néstor García

分類: cs.RO, cs.AI

原文アブストラクト

This paper presents PRISM: an instruction-conditioned refinement method for imitation policies in robotic manipulation. This approach bridges Imitation Learning (IL) and Reinforcement Learning (RL) frameworks into a seamless pipeline, such that an imitation policy on a broad generic task, generated from a set of user-guided demonstrations, can be refined through reinforcement to generate new unseen fine-grain behaviours. The refinement process follows the Eureka paradigm, where reward functions for RL are iteratively generated from an initial natural-language task description. Presented approach, builds on top of this mechanism to adapt a refined IL policy of a generic task to new goal configurations and the introduction of constraints by adding also human feedback correction on intermediate rollouts, enabling policy reusability and therefore data efficiency. Results for a pick-and-place task in a simulated scenario show that proposed method outperforms policies without human feedback, improving robustness on deployment and reducing computational burden.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI