日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2511.22364

BINDER: オープンボキャブラリ指示による即応的適応型モバイルマニピュレーション

BINDER: Instantly Adaptive Mobile Manipulation with Open-Vocabulary Commands

シェア:XThreadsFacebookLINEはてブBluesky

戦略計画を担うマルチモーダルLLMと映像を連続監視するVideoLLMを組み合わせ、動的な環境変化に即応しながら言語指示で移動・操作を行うデュアルプロセス型のモバイルマニピュレーション手法を提案。

詳しい要約

1. どんなもの?

- 動的な環境変化の下で、open-vocabulary の言語指示に従い移動・操作を行う OVMM (Open-Vocabulary Mobile Manipulation) のためのフレームワーク - BINDER (Bridging INstant and DEliberative Reasoning) と名付けられた dual process 型の枠組み - 戦略的計画を担う Deliberative Response Module (DRM) と、連続的な環境監視を担う Instant Response Module (IRM) を統合 - 実世界 3 環境で評価され、SoTA ベースラインより高い成功率と効率を達成したと報告

2. 先行研究と比べてどこがすごい?

- 従来手法は world representation の更新を navigation target、waypoint、action step 終了時などの離散的な更新点に限っていた - その結果、更新間でロボットが blind になり、見落とし・エラー検出の遅れ・replanning の遅延という cascading failures を招いていた - BINDER は戦略的計画と連続的監視を分離することで、awareness の維持と高コストな更新の回避という trade-off に対処 - 離散更新ではなく連続監視により、動的条件下での robust な適応を可能にした点が新規

3. 技術・手法の肝は?

- dual process framework として、DRM と IRM を統合 - DRM: multimodal LLM を用いた task planning モジュール。構造化された 3D scene updates を伴う戦略的計画を実行 - IRM: VideoLLM を用いた連続監視モジュール。video stream を解析し memory を更新、進行中の action を修正、必要時に replanning を trigger - DRM が IRM の attention 先を guide し、IRM が DRM へフィードバックする双方向 coordination が肝 - これにより awareness 維持と更新コスト抑制のバランスを取る

4. どうやって有効だと検証した?

- 動的な物体配置を持つ 3 つの実世界環境 (three real world environments with dynamic object placement) で評価 - SoTA ベースラインと比較し、成功率 (success) と効率 (efficiency) の両面で大幅に上回ったと報告 - 実世界展開 (real world deployment) への有効性を示す結果 - 具体的なタスク設定・指標の詳細は要旨からは不明

5. 議論はある?

- 離散更新による blind 期間と cascading failures の回避が主眼 - awareness 維持と costly updates 回避の trade-off を双方向 coordination で緩和する設計思想 - 実世界 3 環境での有効性は示されるが、限定的な環境数での評価であり、より多様な動的条件への一般化は要旨からは不明 - 計算コストや VideoLLM の連続推論負荷、失敗事例の分析は要旨からは不明

6. 次に読むべき論文は?

- Deliberative Response Module (DRM) の基盤となる multimodal LLM を用いた task planning 研究 - Instant Response Module (IRM) の基盤となる VideoLLM を用いた連続監視・video understanding 研究 - OVMM (Open-Vocabulary Mobile Manipulation) の SoTA ベースライン(具体的名称は要旨からは不明) - 離散的な world representation 更新を行う従来の navigation/waypoint ベースの mobile manipulation 手法 - 3D scene representation を用いたロボット計画手法(構造化 3D scene updates に関連)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seongwon Cho, Daechul Ahn, Donghyun Shin, Hyeonbeom Choi, San Kim, Jonghyun Choi

分類: cs.RO, cs.AI

原文アブストラクト

Open-vocabulary mobile manipulation (OVMM) requires robots to follow language instructions, navigate, and manipulate while updating their world representation under dynamic environmental changes. However, most prior approaches update their world representation only at discrete update points such as navigation targets, waypoints, or the end of an action step, leaving robots blind between updates and causing cascading failures: overlooked objects, late error detection, and delayed replanning. To address this limitation, we propose BINDER (Bridging INstant and DEliberative Reasoning), a dual process framework that decouples strategic planning from continuous environment monitoring. Specifically, BINDER integrates a Deliberative Response Module (DRM, a multimodal LLM for task planning) with an Instant Response Module (IRM, a VideoLLM for continuous monitoring). The two modules play complementary roles: the DRM performs strategic planning with structured 3D scene updates and guides what the IRM attends to, while the IRM analyzes video streams to update memory, correct ongoing actions, and trigger replanning when necessary. Through this bidirectional coordination, the modules address the trade off between maintaining awareness and avoiding costly updates, enabling robust adaptation under dynamic conditions. Evaluated in three real world environments with dynamic object placement, BINDER achieves substantially higher success and efficiency than SoTA baselines, demonstrating its effectiveness for real world deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI