日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.07395

言語指示による把持のための実行状態監視を備えた物理エージェントループ

A Physical Agentic Loop for Language-Guided Grasping with Execution-State Monitoring

シェア:XThreadsFacebookLINEはてブBluesky

言語指示による把持操作を、実行状態を監視しながら再試行やユーザー確認を行う物理エージェントループとして再構成し、ロバスト性と解釈可能性を向上させた。

詳しい要約

1. どんなもの?

- 言語指示に従うロボットマニピュレーションシステムを、物理的なエージェントループとして再定式化した研究。 - 学習済みのgrasp-and-liftプリミティブを変更せずに、イベントベースインターフェースと実行監視層Watchdogでラップする。 - Watchdogはノイズの多いグリッパテレメトリを接触認識融合と時間安定化により離散的な結果ラベルに変換する。 - 結果イベントは決定論的有界ポリシーにより消費され、最終化・再試行・ユーザへのエスカレーションを行う。 - 有限終了を保証し、モバイルマニピュレータとeye-in-hand D405カメラで検証。

2. 先行研究と比べてどこがすごい?

- 従来の言語指示ロボットはgraspプリミティブをほぼ単発で実行し、空掴み・滑り・停滞・タイムアウト・意味的に誤った掴みなどの失敗が決定層に構造化されて伝わらない。 - 本研究はデジタルツール使用エージェントのエージェントループに着想を得て、物理行動が明示的なツール状態ストリームを露出する有界な身体化エージェントとして再定式化。 - 明示的な実行状態監視と有界回復により、開ループ実行よりも堅牢で解釈可能な振る舞いを実現し、アーキテクチャのオーバーヘッドは最小限。

3. 技術・手法の肝は?

- 学習済み操作プリミティブ(grasp-and-lift)を変更せずにラップする物理エージェントループを導入。 - イベントベースインターフェースと実行監視層Watchdogを組み合わせる。 - Watchdogは接触認識融合と時間安定化を用いて、ノイズの多いグリッパテレメトリを離散的な結果ラベルに変換。 - 結果イベントはオプションで把持後の意味検証と組み合わされ、決定論的有界ポリシーが最終化・再試行・ユーザへのエスカレーションを決定。 - 有限終了を保証する。

4. どうやって有効だと検証した?

- モバイルマニピュレータとeye-in-hand D405カメラを用いて検証。 - 基礎となる把持モデルは変更せず、視覚的曖昧さ、妨害物、誘発された実行失敗を含む代表的なシナリオで評価。 - 結果、明示的な実行状態監視と有界回復が開ループ実行よりも堅牢で解釈可能な振る舞いを可能にし、アーキテクチャのオーバーヘッドは最小限であることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、言語誘導把持、grasp-and-liftプリミティブ、エージェントループ、実行監視、接触認識融合、時間安定化、意味検証などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenze Wang, Mehdi Hosseinzadeh, Feras Dayoub

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Robotic manipulation systems that follow language instructions often execute grasp primitives in a largely single-shot manner: a model proposes an action, the robot executes it, and failures such as empty grasps, slips, stalls, timeouts, or semantically wrong grasps are not surfaced to the decision layer in a structured way. Inspired by agentic loops in digital tool-using agents, we reformulate language-guided grasping as a bounded embodied agent operating over grounded execution states, where physical actions expose an explicit tool-state stream. We introduce a physical agentic loop that wraps an unmodified learned manipulation primitive (grasp-and-lift) with (i) an event-based interface and (ii) an execution monitoring layer, Watchdog, which converts noisy gripper telemetry into discrete outcome labels using contact-aware fusion and temporal stabilization. These outcome events, optionally combined with post-grasp semantic verification, are consumed by a deterministic bounded policy that finalizes, retries, or escalates to the user for clarification, guaranteeing finite termination. We validate the resulting loop on a mobile manipulator with an eye-in-hand D405 camera, keeping the underlying grasp model unchanged and evaluating representative scenarios involving visual ambiguity, distractors, and induced execution failures. Results show that explicit execution-state monitoring and bounded recovery enable more robust and interpretable behavior than open-loop execution, while adding minimal architectural overhead. For the source code and demo refer to our project page: https://wenzewwz123.github.io/Agentic-Loop/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI