日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2605.07560

失敗デモデータの活用法:注意機構の分布差を利用した模倣学習の効果的データ選択

How to Utilize Failure Demo Data?: Effective Data Selection for Imitation Learning Using Distribution Differences in Attention Mechanism

シェア:XThreadsFacebookLINEはてブBluesky

成功デモのみで訓練されることが多い模倣学習において、収集時に得られる失敗データを注意機構に組み込むことで活用し、初期観察から適切なモードを選択して行動安定性を向上させる手法を提案。さらに、失敗サンプルと成功デモ間の注意差を定量化する指標で学習に有益な失敗データを選別する。

詳しい要約

1. どんなもの?

- ロボットタスクの模倣学習において、成功デモンストレーションだけでなく失敗デモンストレーションも活用する手法を提案。 - 失敗データを直接かつ安定的に利用することを目指す。 - 成功と失敗の潜在表現の差異を学習し、attention mechanismに組み込む。 - 推論時には初期観測から適切な潜在モードを選択し、行動の安定性を向上。 - さらに、失敗サンプルと成功デモのattention discrepancyを定量化するpost-training metricを導入し、失敗データを選択する。

2. 先行研究と比べてどこがすごい?

- 従来の失敗データ活用アプローチは、追加のデータ処理や自律ロールアウトによる反復的なポリシー更新を必要とし、データ収集時に蓄積された失敗データを直接かつ安定的に利用することが困難であった。 - 提案手法は、そのような追加処理や反復更新を必要とせず、収集済みの失敗データを直接利用できる点が優れている。 - また、失敗データの選択基準をpost-training metricとして導入し、有益な失敗サンプルを特定できる点も新しい。

3. 技術・手法の肝は?

- 成功と失敗のデモンストレーション間の潜在表現の差異を学習し、それをattention mechanismに組み込む。 - 推論時には、初期観測から適切な潜在モードを選択することで、行動の安定性を向上させる。 - さらに、post-training metricとして、各失敗サンプルと成功デモンストレーション間のattention discrepancyを定量化し、学習に有益な失敗データを選択する。

4. どうやって有効だと検証した?

- シミュレーション実験により、失敗データを用いて訓練した場合にタスク成功率が向上することを示した。 - また、提案するmetricが、成功デモンストレーションと組み合わせた際に学習に有益な失敗サンプルを特定できることを示した。 - これらの結果から、提案手法がロボットデータ収集パイプラインにおいて収集されたデモンストレーションのより効率的な利用を支援できる可能性が示唆された。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - シミュレーション結果のみが示されており、実機実験や他のタスクへの汎化性については言及されていない。 - 失敗データの選択基準の有効性や、attention discrepancyの解釈についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、失敗データを活用する模倣学習(例: Inverse Reinforcement Learning, Learning from Failure, Safe Imitation Learning)や、attention mechanismを用いた模倣学習(例: Transformer-based Imitation Learning)が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kana Miyamoto, Kanata Suzuki, Tetsuya Ogata

分類: cs.RO

原文アブストラクト

Imitation learning for robotic tasks has relied primarily on policies trained only on successful demonstrations, although failures are unavoidable during human data collection. Many existing approaches for exploiting failure data require additional data processing or iterative policy updates through autonomous rollouts, making it difficult to directly and stably utilize failure data accumulated during data collection. In this work, we propose a method that learns latent representations of success-failure discrepancies and incorporates them into the attention mechanism. During inference, an appropriate latent mode is selected from the initial observation to improve action stability. Furthermore, we introduce a post-training metric that quantifies the attention discrepancy between each failure sample and successful demonstrations to select failure data. Simulation results show that the proposed method improves task success rates when trained with failure data and that the proposed metric identifies failure samples that are beneficial for learning when combined with successful demonstrations. These results suggest that the proposed method can support more efficient use of collected demonstrations in robotic data collection pipelines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI