日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2508.05310

ASkDAgger:対話型模倣学習のための能動的スキルレベルデータ集約

ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

初心者の計画と不確実性を活用し、教師への問い合わせを減らしつつ失敗も抑える対話型模倣学習フレームワークを提案。

詳しい要約

1. どんなもの?

- 対話型模倣学習(interactive imitation learning)における人手による教示負担を軽減するためのフレームワーク「ASkDAgger」を提案した研究。 - 従来は不確実・危険・新規な状況でのみ人間にクエリする active learning が用いられたが、その際に novice(学習者)の計画行動が持つ情報が活用されていなかった。 - novice が「こうするつもりだが不確実だ」と表明できる仕組みを導入し、teacher feedback を novice plan に活用する。 - 言語条件付き manipulation タスクを simulation と real-world の両方で検証している。

2. 先行研究と比べてどこがすごい?

- 既存の active learning ベース手法は、不確実・危険・新規な状況でのみ teacher にクエリし、クエリ時に novice の計画行動を利用していなかった。 - ASkDAgger は novice plan に対する teacher feedback を活用することで、クエリ頻度と失敗発生率のバランス、必要 demonstration annotation 数の削減、汎化性能の向上、変化する domain への適応高速化を狙う点が異なる。 - 具体的な先行研究名や定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- 中核は3つの構成要素。 - S-Aware Gating (SAG): sensitivity、specificity、または minimum success rate を追跡するように gating threshold を調整する。 - Foresight Interactive Experience Replay (FIER): 有効または relabel された novice action plan を demonstration に再構成する。 - Prioritized Interactive Experience Replay (PIER): uncertainty、novice success、demonstration age に基づいて replay を優先する。 - これらを組み合わせ、クエリ頻度と失敗 incidence のバランスを取る。

4. どうやって有効だと検証した?

- 言語条件付き manipulation タスクにおいて、simulation と real-world 環境の両方で ASkDAgger の有効性を検証した。 - 具体的なタスク設定、比較手法、評価指標、定量的結果は要旨からは不明。 - Code、data、videos は https://askdagger.github.io で公開されている。

5. 議論はある?

- 要旨では、クエリ頻度と失敗 incidence のバランス、demonstration annotation 数の削減、汎化性能の向上、変化する domain への適応高速化といった利点が述べられている。 - 限界、失敗事例、計算コスト、teacher 負担の定量的評価、他手法との詳細比較に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究名は明示されていない。 - 関連手法として、interactive imitation learning の代表的手法である DAgger、active learning を用いた interactive imitation learning、Experience Replay を用いる手法、言語条件付き manipulation の研究を次に読む候補として挙げられる。 - 詳細は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jelle Luijkx, Zlatan Ajanović, Laura Ferranti, Jens Kober

分類: cs.LG, cs.AI, cs.HC, cs.RO

原文アブストラクト

Human teaching effort is a significant bottleneck for the broader applicability of interactive imitation learning. To reduce the number of required queries, existing methods employ active learning to query the human teacher only in uncertain, risky, or novel situations. However, during these queries, the novice's planned actions are not utilized despite containing valuable information, such as the novice's capabilities, as well as corresponding uncertainty levels. To this end, we allow the novice to say: "I plan to do this, but I am uncertain." We introduce the Active Skill-level Data Aggregation (ASkDAgger) framework, which leverages teacher feedback on the novice plan in three key ways: (1) S-Aware Gating (SAG): Adjusts the gating threshold to track sensitivity, specificity, or a minimum success rate; (2) Foresight Interactive Experience Replay (FIER), which recasts valid and relabeled novice action plans into demonstrations; and (3) Prioritized Interactive Experience Replay (PIER), which prioritizes replay based on uncertainty, novice success, and demonstration age. Together, these components balance query frequency with failure incidence, reduce the number of required demonstration annotations, improve generalization, and speed up adaptation to changing domains. We validate the effectiveness of ASkDAgger through language-conditioned manipulation tasks in both simulation and real-world environments. Code, data, and videos are available at https://askdagger.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI