日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2605.01529

悪い中に良いものを見つける(GiB):エンドユーザーのデモンストレーションからより良い方策を学習するための選別手法

Good in Bad (GiB): Sifting Through End-user Demonstrations for Learning a Better Policy

シェア:XThreadsFacebookLINEはてブBluesky

非熟練ユーザーのデモンストレーションに含まれる誤ったサブタスクを自動的に検出・除去し、高品質なサブタスクのみを学習に用いることで、ロボットの方策性能を向上させるアルゴリズムGiBを提案した。

詳しい要約

1. どんなもの?

- 非専門家によるデモンストレーションからロボットのスキルを学習するための手法。 - デモンストレーション内の誤ったサブタスクを自動的に識別・破棄し、高品質なサブタスクを保持する。 - フィルタリングされたデータは任意のポリシー学習アルゴリズムで利用可能。 - シミュレーションと実世界のFrankaロボットで検証。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習は高品質なデモンストレーションを前提としていた。 - 非専門家のデモンストレーションには誤りが含まれることが多く、そのまま学習すると不安全なポリシーになる。 - デモ全体を破棄すると貴重なデータを無駄にする。 - GiBは誤ったサブタスクのみを破棄し、高品質なサブタスクを保持するため、低データ設定でも有効。

3. 技術・手法の肝は?

- 自己教師ありモデルを訓練して潜在特徴を学習し、各デモンストレーションにバイナリ重みを割り当てて良い/悪いをラベル付け。 - 高品質セグメントの潜在特徴分布をモデル化し、マハラノビス距離を用いて低品質サブタスクを検出・評価。 - フィルタリングされたデータを任意のポリシー学習アルゴリズムに適用。

4. どうやって有効だと検証した?

- Frankaロボットを用いて、シミュレーションと実世界のマルチステップタスクで検証。 - 混合品質の人間デモンストレーションから学習した場合のポリシー性能の向上を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Behavior Cloning (BC)、Inverse Reinforcement Learning (IRL)、Data Filtering、Robust Imitation Learning などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Noushad Sojib, Ola Ghattas, Momotaz Begum

分類: cs.RO

原文アブストラクト

Imitation learning offers a promising framework for enabling robots to acquire diverse skills from human users. However, most imitation learning algorithms assume access to high-quality demonstrations an unrealistic expectation when collecting data from non-expert users, whose demonstrations often contain inadvertent errors. Naively learning from such demonstrations can result in unsafe policy behavior, while discarding entire demonstrations due to occasional mistakes wastes valuable data, especially in low-data settings. In this work, we introduce GiB (Good-in-Bad), an algorithm that automatically identifies and discards erroneous subtasks within demonstrations while preserving high-quality subtasks. The filtered data can then be used by any policy learning algorithm to train more robust policies. GiB first trains a self-supervised model to learn latent features and assigns binary weights to label each demonstration as good or bad. It then models the latent feature distribution of high-quality segments and uses the Mahalanobis distance to detect and evaluate poor-quality subtasks. We validate GiB on the Franka robot in both simulated and real-world multi-step tasks, demonstrating improved policy performance when learning from mixed-quality human demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI