操作/VLA2026/6/1arXiv:2606.07723

VoLo: オープン語彙の長期的操作のための物理オーケストレータ

VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation

VLMがロボットの多様な能力を中断可能なツールとして統合し、長期的な操作タスクを計画・実行・監視・回復するエージェントループを提案。高忠実度ベンチマークRoboVoLoで評価し、既存手法を上回る性能を実証。

詳しい要約

1. どんなもの？

VLMがheterogeneousなrobot capabilitiesをinterruptible toolsとしてorchestrateするclosed agent loopを提案。 - Physical Orchestrationと呼ぶ設定を定義。 - 物理世界ではdecision/action/tool callのtimingが重要。 - VoLoAgent: VLMがplan/monitor/recoverし、VLA/WAMをinterruptible toolとしてmid-rolloutでsteer。 - vision modelsやaction primitivesも併用。 - RoboVoLo: open-vocabulary long-horizon manipulationのhigh-fidelity benchmark。 - common sense, memory/state tracking, complex references, world knowledgeを評価。 - task-level successとfailure-mode diagnostic…

2. 先行研究と比べてどこがすごい？

single VLA/VLMやtool-based systemsと比較し大幅に上回る。 - 従来のvirtual AI agentsと異なり、物理世界のtimingを考慮。 - VLA/WAMをinterruptible toolとしてmid-rolloutでsteerする点が新しい。 - 詳細な先行研究比較は要旨からは不明。

3. 技術・手法の肝は？

closed agent loopでVLMがheterogeneous robot capabilitiesをinterruptible toolsとしてorchestrate。 - VLMがplan, monitor, recoverを担当。 - VLA/WAMをinterruptible toolとして扱い、mid-rolloutでsteer。 - vision modelsやaction primitivesもtoolとして利用。 - Physical Orchestrationという設定を導入。 - 具体的なアルゴリズム詳細は要旨からは不明。

4. どうやって有効だと検証した？

RoboVoLo benchmarkで評価。 - common sense, memory/state tracking, complex references, world knowledgeをカバー。 - task-level successとfailure-mode diagnosticsで検証。 - real-robot experimentsでvalidation。 - 詳細な実験設定や数値は要旨からは不明。

5. 議論はある？

Physical Orchestrationの重要性を主張。 - 物理世界ではreasoning中に世界が止まらないためtimingが重要。 - 限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

VLA (Vision-Language-Action) models, WAM (World Action Models), VLM (Vision-Language Models) などの関連手法。 - 具体的な参照論文は要旨からは不明。 - 同分野の定番としてopen-vocabulary manipulation, long-horizon planning, tool-based agentsなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyi Chen, Hugo Hadfield, Alex Zook, Mikaela Angelina Uy, Chan Hee Song, Erwin Coumans, Xuning Yang, Faisal Ladhak, Qing Qu, Stan Birchfield, Jonathan Tremblay, Valts Blukis

分類: cs.RO

原文アブストラクト

Open-vocabulary long-horizon manipulation requires robots to reason over flexible instructions and complex multi-object scenes while adaptively planning, executing, monitoring, and recovering from failures. We address these demands with a closed agent loop in which a VLM orchestrates heterogeneous robot capabilities as interruptible tools. Unlike in virtual AI agents, the timing of decisions, actions and tool calls is important in a physical world that does not pause for reasoning. We refer to this setting as Physical Orchestration, and propose VoLoAgent, a VLM that plans, monitors, and recovers by treating a VLA/WAM as an interruptible tool it steers mid-rollout alongside vision models and action primitives. To evaluate these long-horizon capabilities, we introduce RoboVoLo, a high-fidelity benchmark for open-vocabulary long-horizon manipulation across common sense, memory/state tracking, complex references, and world knowledge, with both task-level success and failure-mode diagnostics. Experiments show VoLoAgent substantially outperforms single VLA/VLM or tool-based systems, with validation on real-robot experiments. Project page: https://chicychen.github.io/VoLo/

arXivで原文を読む →arXiv概要ページ

← 論文一覧