日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.21369

ProTracer: 固有感覚誘導によるロボットマニピュレーションの失敗診断

ProTracer: Proprioception-Guided Failure Diagnosis in Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

固有感覚信号と視覚言語モデルを組み合わせ、訓練なしでロボット操作の失敗検出・分類・説明・発生時刻特定を行うフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションの失敗分析フレームワーク - 二値失敗検出、失敗カテゴリ分類、説明生成、失敗開始位置特定 - 失敗開始位置特定は、有効なタスク完了軌道から逸脱し最終的に失敗に至る最早の時点を同定 - ProTracerは訓練不要のフレームワークで、既存のVision-Language Models (VLMs)とproprioceptive signalsを活用 - FailTimeベンチマークを導入し、視覚とproprioceptiveの同期観測を提供

2. 先行研究と比べてどこがすごい?

- 従来の失敗診断は視覚のみに依存し、時間的精度が不足 - ProTracerはproprioceptive dynamicsを活用し、時間的に情報量の多いaction boundariesを特定 - 訓練不要で既存VLMを利用し、追加のモデル訓練を必要としない - 失敗開始位置特定という新タスクを導入し、細粒度の時間的失敗分析を可能に - 視覚とproprioceptiveのマルチモーダル推論を組み合わせ、従来手法より高い性能を実現

3. 技術・手法の肝は?

- proprioceptive dynamicsを用いてaction boundariesを特定 - 豊富なrobot-state signalsを構造化自然言語記述に変換 - VLMが視覚観測とproprioceptive記述を統合分析 - 訓練不要で、既存VLMのマルチモーダル推論能力を活用 - 時間的精度(proprioceptive)とマルチモーダル推論(VLM)を組み合わせ

4. どうやって有効だと検証した?

- FailTimeベンチマークを導入 - 視覚とproprioceptiveの同期観測を含む - 従来の失敗診断タスクと新規の失敗開始位置特定タスクで評価 - ProTracerが両タスクで強い性能を達成 - proprioceptive reasoningの重要性を実証

5. 議論はある?

- proprioceptive reasoningが細粒度の時間的失敗分析に重要 - 訓練不要フレームワークの有効性を示す - 失敗開始位置特定の新タスクの意義 - 限界や課題については要旨からは不明

6. 次に読むべき論文は?

- Vision-Language Models (VLMs) を用いたロボット失敗分析の関連研究 - proprioceptive signalsを活用したロボット学習 - 失敗検出・診断のベンチマーク(例: FailTime) - マルチモーダル推論によるロボットマニピュレーション - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chang Dong, Mehdi Hosseinzadeh, King Hang Wong, Lingqiao Liu, Francois Fraysse, Feras Dayoub, Minh Hoai Nguyen

分類: cs.RO, cs.CV

原文アブストラクト

This paper presents a comprehensive framework for robot manipulation failure analysis that includes binary failure detection, failure categorization, explanation generation, and the additional capability of failure onset localization, which aims to identify the earliest moment at which a robot execution deviates from a valid task-completion trajectory and is ultimately followed by task failure. To address these tasks, we propose ProTracer, a training-free framework that leverages existing Vision-Language Models (VLMs) together with proprioceptive signals for failure analysis. Our method uses proprioceptive dynamics to identify temporally informative action boundaries and converts richer robot-state signals into structured natural-language descriptions that can be jointly analyzed together with visual observations by the VLM. This design combines the temporal precision of proprioceptive signals with the multimodal reasoning capabilities of modern VLMs without requiring additional model training. We further introduce FailTime, a benchmark with synchronized visual and proprioceptive observations for evaluating conventional failure diagnosis tasks as well as failure onset localization. Experiments demonstrate that ProTracer achieves strong performance across both conventional failure diagnosis tasks and the newly introduced failure onset localization task, highlighting the importance of proprioceptive reasoning for fine-grained temporal failure analysis.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI