日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.02787

視覚シンボルによるマニピュレーション失敗の診断・修正・学習

Diagnose, Correct, and Learn from Manipulation Failures via Visual Symbols

シェア:XThreadsFacebookLINEはてブBluesky

視覚シンボルを用いてロボットマニピュレーションの失敗を診断し、テキストと視覚の両方で修正ガイダンスを提供するフレームワークViFailbackを提案し、大規模データセットとベンチマークを構築した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションの失敗を診断し、テキストと視覚の修正ガイダンスを提供するフレームワーク ViFailback を提案。 - 明示的な visual symbols でアノテーション効率を高める。 - 58,126 の VQA ペアと 5,202 の実世界マニピュレーション軌跡からなる ViFailback データセットを公開。 - 11 の細粒度 VQA タスクからなる ViFailback-Bench を構築。closed-ended の Lite と open-ended の Hard を含む。 - ViFailback-8B VLM を構築し、VLA モデルと統合して実世界ロボット実験で失敗からの回復を支援。

2. 先行研究と比べてどこがすごい?

- 既存の VLA モデルは失敗診断と失敗からの学習が限定的。 - 既存の失敗データセットは主にシミュレーションでプログラム生成され、実世界への汎化が制限される。 - 本研究は実世界のマニピュレーション軌跡と VQA ペアを大規模に収集し、visual symbols でアノテーション効率を向上。 - 失敗診断と修正ガイダンスのためのベンチマーク ViFailback-Bench を新たに提供。

3. 技術・手法の肝は?

- 明示的な visual symbols をアノテーションに利用し、効率的に失敗診断と修正ガイダンスを付与。 - ViFailback データセット: 58,126 VQA ペアと 5,202 実世界軌跡。 - ViFailback-Bench: 11 の細粒度 VQA タスク。Lite は closed-ended、Hard は open-ended 評価。 - ViFailback-8B VLM を構築し、修正行動ガイダンス用の visual symbols を生成。 - VLA モデルと統合し、実世界ロボット実験で失敗回復を支援。

4. どうやって有効だと検証した?

- ViFailback-Bench 上で ViFailback-8B VLM が全体的な性能を大幅に改善することを確認。 - ViFailback-8B が修正行動ガイダンス用の visual symbols を生成できることを示す。 - ViFailback-8B を VLA モデルと統合し、実世界ロボット実験で失敗からの回復を支援できることを実証。

5. 議論はある?

- 要旨からは不明。 - 失敗診断・修正の限界やデータセットの偏り、visual symbols の一般性などに関する議論は要旨では触れられていない。

6. 次に読むべき論文は?

- VLA モデル(Vision-Language-Action models) - VLM(Vision-Language Models) - Visual Question Answering (VQA) - 失敗データセット(既存のシミュレーション生成失敗データセット) - ViFailback-Bench 関連のベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianchao Zeng, Xinyu Zhou, Youcheng Li, Jiayou Shi, Tianle Li, Liangming Chen, Lei Ren, Yong-Lu Li

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have recently achieved remarkable progress in robotic manipulation, yet they remain limited in failure diagnosis and learning from failures. Additionally, existing failure datasets are mostly generated programmatically in simulation, which limits their generalization to the real world. In light of these, we introduce ViFailback, a framework designed to diagnose robotic manipulation failures and provide both textual and visual correction guidance. Our framework utilizes explicit visual symbols to enhance annotation efficiency. We further release the ViFailback dataset, a large-scale collection of 58,126 Visual Question Answering (VQA) pairs along with their corresponding 5,202 real-world manipulation trajectories. Based on the dataset, we establish ViFailback-Bench, a benchmark of 11 fine-grained VQA tasks designed to assess the failure diagnosis and correction abilities of Vision-Language Models (VLMs), featuring ViFailback-Bench Lite for closed-ended and ViFailback-Bench Hard for open-ended evaluation. To demonstrate the effectiveness of our framework, we built the ViFailback-8B VLM, which not only achieves significant overall performance improvement on ViFailback-Bench but also generates visual symbols for corrective action guidance. Finally, by integrating ViFailback-8B with a VLA model, we conduct real-world robotic experiments demonstrating its ability to assist the VLA model in recovering from failures. Project Website: https://x1nyuzhou.github.io/vifailback.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI