日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.04162

ACE: ゼロショットワークフロー推論による身体的操作のためのエージェント制御

ACE: Agentic Control for Embodied Manipulation via Zero-shot Workflow Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

テーブル上のピックアンドプレース操作を自然言語指示からゼロショットで実行するフレームワークACEを提案。ワークフロー推論と視覚接地・再利用可能なプリミティブを組み合わせ、実行失敗を検出して適応する。

詳しい要約

1. どんなもの?

- 自然言語によるtabletop pick-and-placeのためのzero-shot workflow reasoning framework「ACE」を提案。 - 低レベル行動の直接マッピングではなく、agentic workflow reasoningと2つの実行可能skill(visual grounding interface、reusable pick-and-place primitive)を組み合わせる。 - 能動的sub-goalをmask-mediated vision-action interfaceに接地し、maskが対象物と目的地を指定、追跡、人間検証、下流policyへ受け渡し。 - multi-timescale memoryによるclosed loopで、実行後にsub-goalの成否を自動検証し、advance/retry/repair/replanを選択。 - ユーザ修正、scene変化、物理的失敗にオンライン適応。

2. 先行研究と比べてどこがすごい?

- 標準的なend-to-end baselineは論理的に複雑な長horizonタスクの完了に苦戦。 - ACEはタスク固有の再学習なしで、新規semantic constraintやランダム化tabletop sceneに対してtask-level zero-shot generalizationを達成。 - 具体的にequation formationで50%、constraint retrievalで70%の成功率を達成。 - 明示的workflow reasoningとmask-mediated controlが適応的ロボット操作への堅牢で実用的な道筋であることを示す。

3. 技術・手法の肝は?

- agentic workflow reasoningとrobot-facing executable skills(visual grounding interface、reusable pick-and-place primitive)を統合。 - 能動的sub-goalをmask-mediated vision-action interfaceに接地。 - 単一のmaskが対象物と目的地を指定し、時間追跡、人間検証、task-agnostic下流policyへの入力として機能。 - multi-timescale memoryを備えたclosed loopで、実行後にsub-goalの成否を自動検証。 - 結果に応じてadvance、retry、repair、replanを選択し、オンライン適応を実現。

4. どうやって有効だと検証した?

- 論理的に複雑で長horizonなタスクで評価。 - zero-shot multi-step equation formation with number cubesとconstraint-based object retrievalを含む。 - 新規semantic constraintとランダム化tabletop sceneでtask-level zero-shot generalizationを検証。 - タスク固有の再学習なしで、equation formation 50%、constraint retrieval 70%の成功率を達成。 - 標準end-to-end baselineとの比較で有効性を実証。

5. 議論はある?

- 明示的workflow reasoningとmask-mediated controlが、適応的ロボット操作への堅牢で実用的な経路を提供することを示唆。 - 標準end-to-end baselineが論理的に要求の高いタスクで苦戦するのに対し、ACEはzero-shotで高い成功率を達成。 - ユーザ修正、scene変化、物理的失敗へのオンライン適応が可能。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、end-to-end manipulation policy、visual grounding、pick-and-place primitive、workflow reasoning、mask-mediated control、multi-timescale memoryなどが挙げられる。 - 同分野の定番として、CLIPort、Transporter Networks、SayCan、Code as Policies、Inner Monologueなどが次に読むべき候補。 - ただし要旨に具体的な参照論文の記載はないため、これらは一般名としての候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Iok Tong Lei, QianZhi Li, Ying Jie Yap, Yujie Zhang, Rui Zhong, Haichao Gui, Xiaolong Liu, Zhidong Deng

分類: cs.RO, cs.LG

原文アブストラクト

Open-ended tabletop manipulation requires agents to not only understand natural language but also adapt to dynamic environments and execution failures. We present ACE (Agentic Control for Embodied Manipulation), a zero-shot workflow reasoning framework for tabletop pick-and-place from natural language. Rather than relying on direct low-level action mapping, ACE combines agentic workflow reasoning with two robot-facing executable skills: a visual grounding interface and a reusable pick-and-place primitive. To bridge semantic reasoning and physical control, the active sub-goal is grounded into a mask-mediated vision-action interface. This unified mask specifies the target object and destination, is tracked over time, exposed for human verification, and ultimately passed to a task-agnostic downstream policy for execution. Crucially, ACE operates in a closed loop supported by a multi-timescale memory. After an action is executed, the system automatically verifies whether the intended sub-goal succeeded, using the outcome to advance, retry, repair, or replan. This enables online adaptation to user corrections, scene changes, and physical failures. We evaluate ACE on logically complex, long-horizon tasks, including zero-shot multi-step equation formation with number cubes and constraint-based object retrieval. ACE demonstrates task-level zero-shot generalization on novel semantic constraints and randomized tabletop scenes without task-specific retraining. Specifically, while standard end-to-end baselines struggle to complete these logically demanding tasks, ACE achieves a 50% success rate in equation formation and a 70% success rate in constraint retrieval. This contrast demonstrates that explicit workflow reasoning and mask-mediated control offer a robust, practical route toward adaptable robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI