日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボットタスク実行・リカバリarXiv:2611.04226

DiMuRe: 診断に基づくロボットタスク実行の多段階リカバリ

DiMuRe: Diagnosis-Guided Multilevel Recovery for Robotic Task Execution

シェア:XThreadsFacebookLINEはてブBluesky

タスク実行中の外乱に対し、段階的な証拠と前提条件からプログラム再利用やVLA把持などの回復スキルを選ぶ枠組みを提案し、外乱下のベンチマークLIBERO-Disturbも構築した。

詳しい要約

1. どんなもの?

- ロボットタスク実行中の外乱により次行動の前提条件が崩れた際に、状況に応じた回復を行うフレームワーク DiMuRe(diagnosis-guided multilevel recovery)を提案。 - タスクプログラムの再利用、事前定義された recovery skills、bounded な vision-language-action (VLA) grasping を選択的に用いる。 - 元プログラム終了後は multimodal large language model (MLLM) が画像と実行フィードバックから修正コードを生成可能。 - 各回復試行の結果を local verification で確認する。 - 実行中外乱下の堅牢性・回復を評価する benchmark LIBERO-Disturb も導入。

2. 先行研究と比べてどこがすごい?

- 外乱時にタスクプログラム全体を捨てず、まだ有用な部分を再利用する点を重視。 - phase-specific evidence と method preconditions に基づき、program reuse か predefined recovery skills かを診断的に選択。 - 従来の一律な再計画ではなく、状態に適した回復レベルを選ぶ枠組みを提示。 - 具体的な先行研究名との比較は要旨からは不明。 - LIBERO-Disturb により program-based agents と VLA policies の両方を対象に評価可能とした点が新しい。

3. 技術・手法の肝は?

- 実行フェーズごとの証拠(phase-specific evidence)と手法の前提条件(method preconditions)を用いて回復方針を診断。 - 選択肢は program reuse、predefined recovery skills、bounded VLA grasping。 - 元プログラムが終了した場合、MLLM が画像と実行フィードバックから corrective code を生成。 - 各回復試行後に local verification で成否を確認。 - Full DiMuRe では terminal replanning、追加ステップ許容、early handoff を組み合わせる。

4. どうやって有効だと検証した?

- LIBERO-Disturb benchmark を導入し、program-based agents と VLA policies を対象に評価。 - 801 件の scheduled disturbed Encore development cases で検証。 - Local DiMuRe(program reuse と recovery skills)は complete-task success 77.65%。同一 physical-step allowance 下の元プログラムは 58.68%。 - Full DiMuRe は terminal replanning、追加ステップ許容、early handoff により 81.90%。 - Local DiMuRe は scheduled episode あたりの physical steps も元プログラムより少ない。

5. 議論はある?

- Local DiMuRe と Full DiMuRe の差は terminal replanning・追加ステップ許容・early handoff の寄与を示すが、各要素の個別効果は要旨からは不明。 - MLLM による corrective code 生成の信頼性や local verification の限界は要旨からは不明。 - LIBERO-Disturb の外乱種類・難易度設定の詳細は要旨からは不明。 - 実機ロボットでの検証や他タスクへの汎化性は要旨からは不明。

6. 次に読むべき論文は?

- LIBERO-Disturb benchmark の原論文・関連資料。 - vision-language-action (VLA) policies および VLA grasping に関する研究。 - multimodal large language model (MLLM) を用いたロボットの code generation / replanning 研究。 - program-based robot agents における recovery skills や local verification の関連手法。 - 要旨で直接参照されている Encore に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Renkai Yi, Yuwei Wu, Haoyu Zhang, Penghao Dai, Zhi Gao, Jin Chen, Che Sun

分類: cs.RO, cs.AI

原文アブストラクト

Disturbances can invalidate the conditions required by a robot's next action even when much of its task program remains useful. A recovery system must therefore choose a response suited to the current state. We present DiMuRe (diagnosis-guided multilevel recovery), a framework for robot-use agents that uses phase-specific evidence and method preconditions to select program reuse or predefined recovery skills, including bounded vision-language-action (VLA) grasping. After the original program exits, a multimodal large language model (MLLM) can generate corrective code from images and execution feedback. Local verification checks the outcome of each recovery attempt. We also introduce LIBERO-Disturb, a benchmark for robustness and recovery under mid-execution disturbances, supporting program-based agents and VLA policies. On 801 scheduled disturbed Encore development cases, Local DiMuRe (program reuse and recovery skills) achieves 77.65% complete-task success, compared with 58.68% for the original program under the same physical-step allowance. Full DiMuRe achieves 81.90% with terminal replanning, an additional step allowance, and early handoff. Local DiMuRe also uses fewer physical steps per scheduled episode than the original program.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI