マニピュレーション2026/3/1arXiv:2603.13528

反実仮想失敗合成による実行可能な操作リカバリの学習

Learning Actionable Manipulation Recovery via Counterfactual Failure Synthesis

実世界の成功デモから生成モデルで反実仮想的な失敗ロールアウトを合成し、失敗診断と回復軌道を予測するフレームワークを提案。実機実験で補正精度を大幅に向上させた。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションの実行エラーからの自律回復を目的としたフレームワーク Dream2Fix を提案。 - 成功した実世界デモから、生成的世界モデル内で行動を摂動させ、写実的で反事実的な失敗ロールアウトを合成。 - 失敗と修正のペアデータをシミュレータなしで生成し、VLM を微調整して失敗タイプと回復軌道を同時予測。

2. 先行研究と比べてどこがすごい？

- 従来の失敗学習は実世界データ収集が高コスト・危険、またはシミュレータ摂動で sim-to-real gap が大きい。 - 既存の視覚分析器は粗い二値診断が中心で、実行可能な軌道レベルの修正を出力しない。 - Dream2Fix は実世界デモから直接ペアデータを合成し、軌道レベルの回復を可能に。 - 実世界実験で修正精度が 19.7% から 81.3% へ向上し、ゼロショット閉ループ回復を実現。

3. 技術・手法の肝は？

- 生成的世界モデル内で成功デモの行動を摂動し、反事実的失敗ロールアウトを合成。 - 構造的検証機構でタスク妥当性・視覚的一貫性・運動学的安全性を厳密にフィルタリング。 - 120k 以上の高忠実度ペアサンプルデータセットを構築。 - このデータで VLM を微調整し、失敗タイプと正確な回復軌道を同時予測。

4. どうやって有効だと検証した？

- 広範な実世界ロボット実験を実施。 - 修正精度が prior baselines の 19.7% から 81.3% へ向上し、state-of-the-art を達成。 - 物理展開においてゼロショット閉ループ失敗回復を成功裏に実現。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、sim-to-real transfer、vision-language model、generative world model、failure recovery in robotic manipulation に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dayou Li, Jiuzhou Lei, Hao Wang, Lulin Liu, Yunhao Yang, Zihan Wang, Bangya Liu, Minghui Zheng, Zhiwen Fan

分類: cs.RO, cs.CV

原文アブストラクト

While recent foundation models have significantly advanced robotic manipulation, these systems still struggle to autonomously recover from execution errors. Current failure-learning paradigms rely on either costly and unsafe real-world data collection or simulator-based perturbations, which introduce a severe sim-to-real gap. Furthermore, existing visual analyzers predominantly output coarse, binary diagnoses rather than the executable, trajectory-level corrections required for actual recovery. To bridge the gap between failure diagnosis and actionable recovery, we introduce Dream2Fix, a framework that synthesizes photorealistic, counterfactual failure rollouts directly from successful real-world demonstrations. By perturbing actions within a generative world model, Dream2Fix creates paired failure-correction data without relying on simulators. To ensure the generated data is physically viable for robot learning, we implement a structured verification mechanism that strictly filters rollouts for task validity, visual coherence, and kinematic safety. This engine produces a high-fidelity dataset of over 120k paired samples. Using this dataset, we fine-tune a vision-language model to jointly predict failure types and precise recovery trajectories, mapping visual anomalies directly to corrective actions. Extensive real-world robotic experiments show our approach achieves state-of-the-art correction accuracy, improving from 19.7% to 81.3% over prior baselines, and successfully enables zero-shot closed-loop failure recovery in physical deployments.

arXivで原文を読む →arXiv概要ページ

反実仮想失敗合成による実行可能な操作リカバリの学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell