日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ異常検出arXiv:2603.09782

TIMID: ロボット実行ビデオにおける時間依存ミスの検出

TIMID: Time-Dependent Mistake Detection in Videos of Robot Executions

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの高次タスク実行中に発生する時間的・空間的なミスを検出する新しいアーキテクチャTIMIDを提案。ビデオとタスク・ミスのプロンプトを入力とし、フレーム単位でミスの有無を予測する。弱教師あり学習とシミュレーションデータで訓練し、実ロボットへのゼロショット転送を実現。

詳しい要約

1. どんなもの?

- ロボットの高レベルタスク実行中の時間依存のミスを検出するVADベースのアーキテクチャTIMIDを提案。 - 入力はビデオとタスク・潜在ミスのプロンプトで、フレーム単位でミスの有無を予測。 - 弱教師あり学習を可能にし、ビデオごとに1ラベルのみで訓練。 - 時間的エラーを制御したマルチロボットシミュレーションデータセットと実実行によるゼロショットsim-to-real評価を導入。

2. 先行研究と比べてどこがすごい?

- 従来のVADは単一の低レベル運動学的・行動的失敗に焦点を当て、複雑な時間的・空間的タスク違反の検出が困難。 - TIMIDは高レベルタスクの時間依存ミスを検出可能。 - 既存のVLMはこのタスクに必要な明示的な時間的推論を欠くが、TIMIDは異なるタイプの時間的エラーを検出できる。

3. 技術・手法の肝は?

- VADの定式化を採用し、ビデオとプロンプト(タスクと潜在ミス)を入力。 - フレームレベルの予測を出力。 - 弱教師あり学習によりビデオごとに1ラベルのみで訓練可能。 - 時間的エラーを制御したシミュレーションデータセットと実実行データセットを導入。

4. どうやって有効だと検証した?

- マルチロボットシミュレーションデータセット(時間的エラーを制御)と実実行によるゼロショットsim-to-real評価を実施。 - 実験により、既存のVLMは時間的推論を欠くが、TIMIDは異なるタイプの時間的エラーを検出できることを示した。

5. 議論はある?

- データ不足問題を緩和するため、シミュレーションデータセットを導入。 - ゼロショットsim-to-real評価を実施。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Video Anomaly Detection (VAD) フレームワーク、Vision-Language Models (VLMs)。 - 関連手法:時間的推論を強化したVLM、ロボット失敗検出のための弱教師あり学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nerea Gallego, Fernando Salanova, Claudio Mannarano, Cristian Mahulea, Eduardo Montijano

分類: cs.RO

原文アブストラクト

As robotic systems execute increasingly difficult task sequences, so does the number of ways in which they can fail. Video Anomaly Detection (VAD) frameworks typically focus on singular, low-level kinematic or action failures, struggling to identify more complex temporal or spatial task violations, because they do not necessarily manifest as low-level execution errors. To address this problem, the main contribution of this paper is a new VAD-inspired architecture, TIMID, which is able to detect robot time-dependent mistakes when executing high-level tasks. Our architecture receives as inputs a video and prompts of the task and the potential mistake, and returns a frame-level prediction in the video of whether the mistake is present or not. By adopting a VAD formulation, the model can be trained with weak supervision, requiring only a single label per video. Additionally, to alleviate the problem of data scarcity of incorrect executions, we introduce a multi-robot simulation dataset with controlled temporal errors and real executions for zero-shot sim-to-real evaluation. Our experiments demonstrate that out-of-the-box VLMs lack the explicit temporal reasoning required for this task, whereas our framework successfully detects different types of temporal errors. Project: https://ropertunizar.github.io/TIMID/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI