日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.12405

ロボットの失敗検出と推論のための自己洗練型視覚言語モデル

Self-Refining Vision Language Model for Robotic Failure Detection and Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの失敗検出と推論をマルチタスクの自己洗練プロセスとして定式化し、疎な二値ラベルと少数の詳細な推論アノテーションを組み合わせて学習するARMORを提案。推論時には複数の洗練軌跡から自信度の高い予測を選択し、失敗検出率と推論性能で従来手法を大幅に上回る。

詳しい要約

1. どんなもの?

- ロボットの失敗検出と推論を行うARMOR (Adaptive Round-based Multi-task mOdel) を提案。 - 失敗推論をマルチタスク自己洗練プロセスとして定式化。 - 検出結果と自然言語推論を反復的に予測。 - 異種監督(大規模疎な二値ラベルと小規模豊富な推論アノテーション)から学習。 - 推論時には複数の洗練軌跡を生成し、自己確信度指標で最も確信度の高い予測を選択。

2. 先行研究と比べてどこがすごい?

- 従来は失敗推論を閉集合分類問題として扱うか、十分な人間アノテーションを仮定。 - 実世界の失敗は微妙で組み合わせ的、列挙困難。 - 豊富な推論ラベルは取得コストが高い。 - ARMORは異種監督に頑健で、事前定義された失敗モードを超えたオープンエンドな推論が可能。 - 失敗検出率で最大30%、推論(LLMファジーマッチスコア)で最大100%の改善を達成。

3. 技術・手法の肝は?

- 検出と推論をマルチタスク自己洗練プロセスとして定式化。 - モデルは過去の出力に条件付けられ、検出結果と自然言語推論を反復予測。 - 訓練では大規模疎な二値ラベルと小規模豊富な推論アノテーションの異種監督を活用。 - オフラインおよびオンライン模倣学習の組み合わせで最適化。 - 推論時には複数の洗練軌跡を生成し、自己確信度指標で最も確信度の高い予測を選択。

4. どうやって有効だと検証した?

- 多様な環境での実験を実施。 - 失敗検出率で最大30%改善、推論(LLMファジーマッチスコア)で最大100%改善。 - 異種監督とオープンエンドな推論に対する頑健性を実証。 - 追加の可視化をウェブサイトで提供。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、閉集合分類による失敗推論、人間アノテーションに依存するアプローチ、模倣学習、自己洗練、Vision Language Model が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Carl Qi, Xiaojie Wang, Silong Yong, Stephen Sheng, Huitan Mao, Sriram Srinivasan, Manikantan Nambi, Amy Zhang, Yesh Dattatreya

分類: cs.RO, cs.LG

原文アブストラクト

Reasoning about failures is crucial for building reliable and trustworthy robotic systems. Prior approaches either treat failure reasoning as a closed-set classification problem or assume access to ample human annotations. Failures in the real world are typically subtle, combinatorial, and difficult to enumerate, whereas rich reasoning labels are expensive to acquire. We address this problem by introducing ARMOR: Adaptive Round-based Multi-task mOdel for Robotic failure detection and reasoning. We formulate detection and reasoning as a multi-task self-refinement process, where the model iteratively predicts detection outcomes and natural language reasoning conditioned on past outputs. During training, ARMOR learns from heterogeneous supervision - large-scale sparse binary labels and small-scale rich reasoning annotations - optimized via a combination of offline and online imitation learning. At inference time, ARMOR generates multiple refinement trajectories and selects the most confident prediction via a self-certainty metric. Experiments across diverse environments show that ARMOR achieves state-of-the-art performance by improving over the previous approaches by up to 30% on failure detection rate and up to 100% in reasoning measured through LLM fuzzy match score, demonstrating robustness to heterogeneous supervision and open-ended reasoning beyond predefined failure modes. We provide dditional visualizations on our website: https://sites.google.com/utexas.edu/armor

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI