日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

失敗検出arXiv:2606.23085

先見: 行動条件付きワールドモデル潜在表現による長期的ロボット操作の失敗検出

Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクにおいて、最終的な成功/失敗ラベルのみを用いて、行動条件付きワールドモデルの潜在表現から失敗を検出するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスクにおける失敗検出フレームワーク「Foresight」を提案。 - action-conditioned world model の潜在表現を監視し、操作軌跡の失敗を検出する。 - 最終的なタスクレベルの成功/失敗ラベルのみで訓練可能。 - 異なるポリシーに適用できる統一的な枠組みを提供。 - functional conformal prediction (FCP) で検出閾値を適応的に校正する。

2. 先行研究と比べてどこがすごい?

- 長期的タスクの失敗検出は未探索領域であり、失敗の開始が曖昧で密な時間的アノテーションが得られない課題がある。 - 従来の失敗検出法と比較して、最終的なタスクレベルラベルのみで訓練できる点が優れる。 - action-conditioned world model の埋め込みにより、ポリシーに依存しない統一的な検出が可能。 - FCP による閾値の適応的校正を導入している点が新しい。

3. 技術・手法の肝は?

- action-conditioned world model を用いて操作軌跡の潜在表現を抽出。 - その潜在表現を監視して失敗を検出する。 - 訓練には最終的なタスク成功/失敗ラベルのみを使用。 - functional conformal prediction (FCP) により検出閾値を適応的に校正。 - これにより、異なるポリシーに対しても統一的な失敗検出を実現。

4. どうやって有効だと検証した?

- シミュレーションで LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K を使用。 - state-of-the-art の vision-language-action ポリシーと組み合わせて評価。 - 最先端の失敗検出法と比較。 - 実機検証: ReactorX-200 アームで3つの長期的タスク、Franka アームで1つのタスクを実施。 - これらの結果から、action-conditioned world-model embeddings が信頼性の高い失敗監視に有効であることを示唆。

5. 議論はある?

- 長期的タスクにおける失敗検出の課題(失敗開始の曖昧さ、密な時間的アノテーションの欠如)に対処。 - 最終的なタスクレベルラベルのみで訓練できる点が実用的。 - action-conditioned world-model embeddings がスケーラブルな表現を提供することを示唆。 - ただし、具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: state-of-the-art failure detection methods, vision-language-action policies。 - 関連手法: action-conditioned world model, functional conformal prediction (FCP)。 - データセット/ベンチマーク: LIBERO-Long, ManiSkill-Long, BEHAVIOR-1K。 - ハードウェア: ReactorX-200 arm, Franka arm。 - 同分野の定番: ロボット操作における失敗検出、world model を用いた予測、conformal prediction の応用。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Zhang, Yifu Lu, Boyang Wang, Xuhui Kang, Yen-Ling Kuo, Zezhou Cheng, Mengdi Wang, Odest Chadwicke Jenkins

分類: cs.RO

原文アブストラクト

Long-horizon tasks are common in real-world robotic deployments, yet failure detection for such tasks remains underexplored. Detecting failures in long-horizon robotic tasks is particularly challenging because failure onset is often ambiguous and dense temporal annotations are typically unavailable. We present Foresight, a failure detection framework that monitors manipulation trajectories using latent representations from an action-conditioned world model. Foresight is trained using only final task-level success or failure labels. By leveraging predictive world-model embeddings, our method provides a unified framework for failure detection across different policies. We further use functional conformal prediction (FCP) to calibrate detection thresholds adaptively. We evaluate Foresight with state-of-the-art vision-language-action policies in simulation on LIBERO-Long, ManiSkill-Long, and BEHAVIOR-1K, compare it against state-of-the-artfailure detection methods, and validate it on real robots with three long-horizon tasks on a ReactorX-200 arm and one task on a Franka arm. Our results suggest that action-conditioned world-model embeddings provide a scalable representation for reliable failure monitoring in long-horizon manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI