日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2609.08123

DISEIL: デモンストレーション蒸留によるサンプル効率的模倣学習

DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが少数のデモから学習する際、失敗を分類し、必要なデモを自動的に要求する手法を提案。模倣学習のサンプル効率を向上させる。

詳しい要約

1. どんなもの?

DISEILは、インタラクティブ模倣学習において、失敗エピソードからデモンストレーション要求を自動生成する手法。ロボットが自己練習中に失敗した際、その失敗モードを特定し、視覚言語モデルと言語モデルを用いて次のデモンストレーションのリクエストを生成する。専門家の介入を効率的に活用し、少数のデモで学習することを目指す。

2. 先行研究と比べてどこがすごい?

既存のインタラクティブ模倣学習は、学習者をいつ中断するかのみを決定し、どの失敗を修正するか、デモの開始位置をどこにするかは、中断を引き起こしたエピソードに任せていた。DISEILは、これら2つの決定を意図的に行う初めての試みであり、失敗モードをグループ化し、デモ要求を生成することで、専門家の時間をより有効に活用する。

3. 技術・手法の肝は?

DISEILは、失敗エピソードの各ステップでポリシーが最初に信頼できなくなる時点をマークし、その瞬間を幾何学的記述子で表現し、失敗を繰り返し発生する失敗モードにグループ化する。視覚言語モデルと言語モデルが選択されたモードを読み取り、次のデモンストレーションのリクエストを書き、タスク制約のストアがリクエストが実行可能かどうかをチェックする。どのモデルもロボットのアクションを生成しない。

4. どうやって有効だと検証した?

5つのシミュレーションタスクを状態観測と画像観測の両方で評価し、専門家に要求する内容のみを変更して、全10設定で最高の平均保持成功率を達成し、1設定でタイ、最小予算で最大の差が得られた。

5. 議論はある?

スコープは狭く、一度に1ラウンドの練習のみ、シミュレーション内、専門家は主にスクリプト化されている。長期的な目標は、デモンストレーションセットのカバレッジを追跡し、人間の教師に不足している行動を要求する際に、各リクエストのコストに比例して要求すること。

6. 次に読むべき論文は?

要旨からは、関連研究としてインタラクティブ模倣学習の既存手法が挙げられるが、具体的な論文名は不明。次に読むべきは、インタラクティブ模倣学習の基礎論文(例: DAgger)や、失敗モードの検出、視覚言語モデルを用いたロボット学習の関連研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Suyog Khanal, Arun Kumar A, Santu Rana

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

A robot that can be taught a new task from a handful of demonstrations has to work out for itself what it still cannot do, and then ask for exactly that. Interactive imitation learning takes a step in that direction by letting a policy practice on its own and calling an expert when it goes wrong. Existing methods decide when to interrupt the learner. A further 2 decisions are left to whichever episode happened to trigger the interruption: which failure to correct, and where the demonstration should start. This paper is a first attempt at making both of them deliberately. DISEIL (Demonstration dIstillation for Sample-Efficient Imitation Learning) marks each failed episode at the step where the policy first becomes unreliable, represents that moment with a geometric descriptor, and groups the failures into recurring failure modes. A vision-language model and a language model read the selected mode and write a request for the next demonstration, and a store of task constraints checks that the request can be carried out before any expert time is spent. No model produces a robot action. Across 5 simulated tasks under state and image observations, changing only what the expert is asked for gives the highest mean held-out success rate in all 10 settings, with a tie in 1, and the margin is widest at the smallest budget we tested. The scope is narrow: a single round of practice at a time, in simulation, with experts that are mostly scripted. The longer-term aim is a learner that also tracks what its demonstration set already covers, and that asks a human teacher for the missing behavior in proportion to the effort each request costs them.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI