日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット失敗分析arXiv:2506.06570

実運用ログからの失敗分類体系の教師なし発見

Unsupervised Discovery of Failure Taxonomies from Deployment Logs

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの失敗ログを視覚言語モデルで構造化し、その意味空間でクラスタリングすることで、操作・ナビゲーション・自動運転における再発する失敗モードを教師なしで抽出する手法を提案した。

詳しい要約

1. どんなもの?

- 大規模な生の failure logs から、unsupervised に failure taxonomies を発見する問題を新たに定式化した研究。 - 目的は、perceptual trajectories から意味的に一貫し actionable な failure modes を直接得ること。 - 対象は robotic manipulation、indoor navigation、autonomous driving の各ドメイン。 - 人手による大規模 failure 解析の非スケール性を背景に、自動化された failure mode 抽出手法を提案。

2. 先行研究と比べてどこがすごい?

- 従来の人手による大規模 failure dataset 解析は非現実的でスケールしない点を課題として明示。 - 個別 episode 単位の記述ではなく、再発する failure modes を発見する点が特徴。 - 生ログから直接 taxonomy を得る問題設定自体が新規と位置づけられる。 - 具体的な既存手法との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- まず multimodal inputs から vision language reasoning を用いて構造化された failure explanations を推論。 - 次に、その semantic reasoning space 上で clustering を実施。 - これにより isolated な episode-level 記述ではなく、recurring な failure modes を発見。 - 生の perceptual trajectories を入力とし、意味的にまとまった failure taxonomy を出力するパイプライン。

4. どうやって有効だと検証した?

- robotic manipulation、indoor navigation、autonomous driving の3ドメインで評価。 - 発見された taxonomies が consistent、interpretable、実用上有用であることを示した。 - 構造化 taxonomy が offline policy refinement のための targeted data collection を導くことを実証。 - runtime failure monitoring systems を強化することを示した。 - 定量指標やデータセット規模の詳細は要旨からは不明。

5. 議論はある?

- failure は安全・信頼性の課題である一方、robustness 改善のための豊富な perceptual data を提供するという位置づけ。 - 人手解析の非スケール性に対する自動化の必要性を議論。 - taxonomy の実用性として data collection 誘導と runtime monitoring 強化を提示。 - 限界や失敗事例、vision language reasoning の誤り影響などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較された個別研究は明示されていない。 - 関連手法として vision language reasoning、multimodal failure explanation、semantic space clustering に関する研究。 - 応用先として offline policy refinement、runtime failure monitoring の文献。 - 同分野の定番として robotic manipulation、indoor navigation、autonomous driving における failure analysis 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aryaman Gupta, Yusuf Umut Ciftci, Somil Bansal

分類: cs.RO

原文アブストラクト

As robotic systems become increasingly integrated into real-world environments, ranging from autonomous vehicles to household assistants, they inevitably encounter diverse and unstructured scenarios that lead to failures. While such failures pose safety and reliability challenges, they also provide rich perceptual data for improving system robustness. However, manually analyzing large-scale failure datasets is impractical and does not scale. In this work, we introduce the problem of unsupervised discovery of failure taxonomies from large volumes of raw failure logs, aiming to obtain semantically coherent and actionable failure modes directly from perceptual trajectories. Our approach first infers structured failure explanations from multimodal inputs using vision language reasoning, then clusters them in the resulting semantic reasoning space, discovering recurring failure modes rather than isolated episode-level descriptions. We evaluate our method across robotic manipulation, indoor navigation, and autonomous driving domains, demonstrating that the discovered taxonomies are consistent, interpretable, and useful in practice. In particular, we show that structured failure taxonomies guide targeted data collection for offline policy refinement and enhance runtime failure monitoring systems. Website: https://mllm-failure-clustering.github.io/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI