日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.16072

I-FailSense: 視覚言語モデルによる汎用的なロボット失敗検出に向けて

I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを微調整し、内部層に軽量な分類ヘッドを付けてアンサンブルすることで、指示と意味的にずれたロボットの失敗を検出するフレームワークを提案。

詳しい要約

1. どんなもの?

- 言語条件付きロボットマニピュレーションにおける失敗検出のための研究 - 特に「意味的不整合(semantic misalignment)」失敗、すなわち意味的には妥当だが指示と一致しないタスク実行の検出に着目 - 既存の言語条件付きマニピュレーションデータセットから、semantic misalignment 失敗検出用データセットを構築する手法を提案 - I-FailSense というオープンソースの VLM フレームワークを提示 - grounded arbitration を備えた設計 - データセットとモデルは HuggingFace で公開

2. 先行研究と比べてどこがすごい?

- 近年の VLM は空間推論やタスク計画を改善したが、自己の失敗認識は限定的 - semantic misalignment エラーの検出は重要かつ未探索の課題 - I-FailSense は同サイズ・より大規模な state-of-the-art VLM を semantic misalignment 検出で上回る - semantic misalignment 検出のみで訓練したにもかかわらず、より広範なロボット失敗カテゴリへ汎化 - 他のシミュレーション環境や実世界へ zero-shot または最小限の post-training で転移可能

3. 技術・手法の肝は?

- 既存の言語条件付きマニピュレーションデータセットから semantic misalignment 失敗検出データセットを構築 - ベース VLM を post-training - VLM の異なる内部層に軽量な分類ヘッド(FS blocks)を接続して訓練 - FS blocks の予測を ensembling 機構で集約 - grounded arbitration を備えたフレームワーク設計

4. どうやって有効だと検証した?

- I-FailSense を state-of-the-art VLM(同サイズおよびより大規模)と比較 - semantic misalignment エラー検出において優位性を実験的に示す - semantic misalignment 検出のみで訓練したモデルが、より広範なロボット失敗カテゴリへ汎化することを確認 - 他のシミュレーション環境および実世界への zero-shot または最小限の post-training での転移を検証

5. 議論はある?

- semantic misalignment 失敗の検出という未探索課題の重要性を指摘 - 単一失敗カテゴリでの訓練からの汎化可能性と転移可能性を示唆 - データセット構築手法の一般性や、他失敗カテゴリへの適用範囲については要旨からは不明 - FS blocks の ensembling や grounded arbitration の詳細な設計妥当性については要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及される state-of-the-art VLM(具体的名称は要旨からは不明) - 言語条件付きマニピュレーションの失敗検出に関する関連研究(具体的名称は要旨からは不明) - VLM を用いたロボット失敗検出の同分野の定番手法(例: 言語条件付きマニピュレーションの failure detection 研究) - 元データセットとなった既存の言語条件付きマニピュレーションデータセット(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Clemence Grislain, Hamed Rahimi, Olivier Sigaud, Mohamed Chetouani

分類: cs.RO

原文アブストラクト

Language-conditioned robotic manipulation in open-world settings requires not only accurate task execution but also the ability to detect failures for robust deployment in real-world environments. Although recent advances in vision-language models (VLMs) have significantly improved the spatial reasoning and task-planning capabilities of robots, they remain limited in their ability to recognize their own failures. In particular, a critical yet underexplored challenge lies in detecting semantic misalignment errors, where the robot executes a task that is semantically meaningful but inconsistent with the given instruction. To address this, we propose a method for building datasets targeting Semantic Misalignment Failures detection, from existing language-conditioned manipulation datasets. We also present I-FailSense, an open-source VLM framework with grounded arbitration designed specifically for failure detection. Our approach relies on post-training a base VLM, followed by training lightweight classification heads, called FS blocks, attached to different internal layers of the VLM and whose predictions are aggregated using an ensembling mechanism. Experiments show that I-FailSense outperforms state-of-the-art VLMs, both comparable in size and larger, in detecting semantic misalignment errors. Notably, despite being trained only on semantic misalignment detection, I-FailSense generalizes to broader robotic failure categories and effectively transfers to other simulation environments and real-world with zero-shot or minimal post-training. The datasets and models are publicly released on HuggingFace (Webpage: https://clemgris.github.io/I-FailSense/).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI