日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

脚式移動操作arXiv:2610.34370

ThinkLocoManip:脚式移動操作のための全身制御エージェントハーネス

ThinkLocoManip: A Whole-Body Control Agentic Harness for Legged Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

推論と行動を交互に繰り返すパラダイムで、知覚・ナビゲーション・操作・歩行をツールとして統合し、長期的な脚式移動操作タスクを実現するエージェント型ハーネスを提案した論文。

詳しい要約

1. どんなもの?

- 四足歩行ロボットの loco-manipulation を対象とした agentic harness「ThinkLocoManip」の提案 - 大規模環境での複雑・long-horizon タスクを解くことを目的とする - interleaved reasoning-and-acting パラダイムを採用し、状態推論→行動→観察→戦略適応を繰り返す - perception, navigation, manipulation, locomotion の専用ツール群を統括 - locomotion をツール領域として明示的に組み込む点が特徴

2. 先行研究と比べてどこがすごい?

- 既存手法の direct action generation と plan-then-act は long-horizon 実行での generalization と error-recovery に弱い - 提案は interleaved reasoning-and-acting により継続的な状態推論と戦略適応を可能にする - 既存の robotic agentic harness と異なり locomotion をツール領域として明示的に含む - 実世界実験で代表手法を大幅に上回り、成功率77%は最強の plan-then-act baseline 37.1%の2倍以上

3. 技術・手法の肝は?

- interleaved reasoning-and-acting パラダイムの下で agent が推論・実行・観察・適応を交互に行う - agentic harness が perception, navigation, manipulation, locomotion の専用ツールを編成 - 各機能領域内のツール使用と領域間の coordination を明示的に扱うスキル群を設計 - long-horizon 相互作用での失敗に対処する keyframe thinking mechanism を開発 - 重要実行コンテキストを保持し効率的な error recovery を支援

4. どうやって有効だと検証した?

- 実世界実験を広範に実施 - 困難な long-horizon legged loco-manipulation タスクで direct action generation 系と plan-then-act 系の代表手法と比較 - ThinkLocoManip が成功率77%を達成し、最強 plan-then-act baseline の37.1%を大きく上回る - interleaved reasoning and acting、tool orchestration、coordinated skill execution の有効性も実験で検証

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例の議論は記述されていない) - 実世界実験の詳細な設定・タスク規模・baseline 条件は要旨からは不明 - keyframe thinking mechanism の設計詳細や ablation の内訳は要旨からは不明

6. 次に読むべき論文は?

- plan-then-act パラダイムの代表手法(baseline として比較) - direct action generation 系の代表手法(baseline として比較) - 既存の robotic agentic harness(比較対象として言及) - long-horizon タスク向けの LLM-based planning / reasoning 研究(関連分野の定番) - legged loco-manipulation の whole-body control 研究(関連分野の定番)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nuo Chen, Shizeng Zhang, Yujie Yang, Jinghong Wang, Zhenyang Qu, Xiao-Ming Wu, Yunfei Guo, Zhongwen Lu, Haojie Liu, Chunpeng Lu, Qiao Sun, Xueyi Zhang, Jiangwei Zhong

分類: cs.RO

原文アブストラクト

In this paper, we propose ThinkLocoManip, an agentic harness for legged loco-manipulation designed to tackle complex, long-horizon tasks in large-scale environments. Existing approaches typically follow either direct action generation or a plan-then-act paradigm, both of which can struggle with the generalization and error-recovery capabilities required for extended task execution. In contrast, ThinkLocoManip adopts an interleaved reasoning-and-acting paradigm, allowing the agent to continuously reason about its current state, execute actions, observe their outcomes, and adapt its strategy accordingly. Building on this paradigm, our agentic harness orchestrates a suite of specialized tools for perception, navigation, manipulation, and locomotion, enabling flexible composition of heterogeneous capabilities. Unlike existing robotic agentic harnesses, ThinkLocoManip explicitly incorporates locomotion as a tool domain for agent reasoning and execution. We further design a set of skills that explicitly account for both tool usage within each functional domain and coordination across domains, supporting effective execution of complex behaviors over long horizons. To tackle task failure during long-horizon interactions, we develop keyframe thinking mechanism to preserve critical execution context and support efficient error recovery. Extensive real-world experiments demonstrate that ThinkLocoManip substantially outperforms representative methods based on both direct action generation and plan-then-act paradigms across challenging long-horizon legged loco-manipulation tasks. Notably, ThinkLocoManip achieves a success rate of 77%, more than twice that of the strongest plan-then-act baseline (37.1%). Our experiments further validate the effectiveness of interleaved reasoning and acting, tool orchestration, and coordinated skill execution.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI