日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/異常検出arXiv:2604.13788

統計的・意味的フィルタリングによる模倣学習の失敗識別

Failure Identification in Imitation Learning Via Statistical and Semantic Filtering

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習ポリシーの実環境での失敗を検出するため、異常検出と視覚言語モデルによる意味的フィルタリングを組み合わせたモジュールFIDeLを提案し、新しいデータセットBotFailsで性能を実証した。

詳しい要約

1. どんなもの?

- ロボティクスにおける模倣学習(IL)ポリシーの失敗検出モジュール「FIDeL」を提案。 - ポリシー非依存で、Vision-based Anomaly Detection (AD) を活用し、正常デモのコンパクト表現を構築。 - 入力観測を optimal transport matching で整列し、異常スコアとヒートマップを生成。 - 時空間閾値を conformal prediction の拡張で導出し、Vision-Language Model (VLM) で意味的フィルタリングを行い、良性の逸脱と真の失敗を区別。 - 実世界タスクのマルチモーダルデータセット「BotFails」も導入。

2. 先行研究と比べてどこがすごい?

- 従来の Vision-based AD は異常状態を検出できても、良性の逸脱と失敗を区別できない問題があった。 - FIDeL は VLM による意味的フィルタリングを組み込み、この区別を実現。 - BotFails データセットにおいて、既存手法と比較して AUROC で +5.30%、失敗検出精度で +17.38% 向上。 - ポリシー非依存のモジュールであり、幅広い IL ポリシーに適用可能。

3. 技術・手法の肝は?

- 正常デモのコンパクト表現を構築し、入力観測を optimal transport matching で整列。 - 異常スコアとヒートマップを生成し、conformal prediction の拡張により時空間閾値を導出。 - VLM が意味的フィルタリングを行い、良性異常と真の失敗を識別。 - ポリシー非依存の失敗検出モジュールとして設計。

4. どうやって有効だと検証した?

- 実世界タスクのマルチモーダルデータセット「BotFails」を導入し、評価に使用。 - 既存の state-of-the-art ベースラインと比較し、AUROC で +5.30%、失敗検出精度で +17.38% の改善を確認。 - 具体的なタスクや被験者数などの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - 実世界展開における希少イベント(ハードウェア故障、欠陥部品、予期せぬ人間行動など)への対処が動機。 - 良性逸脱と失敗の区別が重要であると主張。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Vision-based Anomaly Detection (AD) 手法、conformal prediction、Vision-Language Model (VLM)。 - 関連手法:optimal transport matching。 - 同分野の定番:模倣学習(Imitation Learning)、異常検出(Anomaly Detection)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quentin Rolland, Fabrice Mayran de Chamisso, Jean-Baptiste Mouret

分類: cs.RO, cs.CV

原文アブストラクト

Imitation learning (IL) policies in robotics deliver strong performance in controlled settings but remain brittle in real-world deployments: rare events such as hardware faults, defective parts, unexpected human actions, or any state that lies outside the training distribution can lead to failed executions. Vision-based Anomaly Detection (AD) methods emerged as an appropriate solution to detect these anomalous failure states but do not distinguish failures from benign deviations. We introduce FIDeL (Failure Identification in Demonstration Learning), a policy-independent failure detection module. Leveraging recent AD methods, FIDeL builds a compact representation of nominal demonstrations and aligns incoming observations via optimal transport matching to produce anomaly scores and heatmaps. Spatio-temporal thresholds are derived with an extension of conformal prediction, and a Vision-Language Model (VLM) performs semantic filtering to discriminate benign anomalies from genuine failures. We also introduce BotFails, a multimodal dataset of real-world tasks for failure detection in robotics. FIDeL consistently outperforms state-of-the-art baselines, yielding +5.30% percent AUROC in anomaly detection and +17.38% percent failure-detection accuracy on BotFails compared to existing methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI