日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.17328

反射的VLM計画による双腕デスクトップ清掃:オープンボキャブラリ知覚と精密マニピュレーションの橋渡し

Reflective VLM Planning for Dual-Arm Desktop Cleaning: Bridging Open-Vocabulary Perception and Precise Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMが操作手順を生成・批評・修正する階層的枠組みと双腕ロボットを組み合わせ、机上の多様なゴミをオープンボキャブラリで認識して清掃するシステムを提案した。

詳しい要約

1. どんなもの?

- デスクトップ清掃タスクを対象とした階層型ロボティクスフレームワーク - 異種ゴミのopen-vocabulary認識と精密操作を両立 - reflective VLM planningとdual-arm実行を統合 - 構造化scene representationを介して計画と実行を橋渡し - Franka armsによる5 primitivesのparametric trajectories実行

2. 先行研究と比べてどこがすごい?

- static VLMベースラインに対しタスク完了率28.8%改善 - single-armベースラインに対し36.2%改善 - 静的計画ではなくVLMが生成・批評・修正するreflectiveループを導入 - open-vocabulary検出とdual-arm精密操作を単一フレームワークで統合

3. 技術・手法の肝は?

- Grounded-SAM2によるopen-vocabulary detection - memory-augmented VLMがmanipulation sequencesを生成・critique・revise - 生成された系列を5 primitivesのparametric trajectoriesへ変換 - coordinated Franka armsで実行 - structured memory integrationが汎化とrobustnessの鍵

4. どうやって有効だと検証した?

- シミュレーション環境で評価 - タスク完了率87.2%を達成 - static VLMおよびsingle-armベースラインとの比較で優位性を確認 - structured memoryの寄与とreal-time control性能の維持を検証

5. 議論はある?

- structured memory integrationがrobustでgeneralizableな操作に不可欠と主張 - real-time control性能を維持しつつ計画の質を向上 - 実機実験や実環境での検証については要旨からは不明 - 失敗ケースや限界に関する議論は要旨からは不明

6. 次に読むべき論文は?

- static VLM planningベースライン(関連研究として比較) - single-arm manipulationベースライン(関連研究として比較) - Grounded-SAM2(採用手法) - Vision-Language Modelを用いたロボットplanningの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yufan Liu, Yi Wu, Gweneth Ge, Haoliang Cheng, Rui Liu

分類: cs.RO

原文アブストラクト

Desktop cleaning demands open-vocabulary recognition and precise manipulation for heterogeneous debris. We propose a hierarchical framework integrating reflective Vision-Language Model (VLM) planning with dual-arm execution via structured scene representation. Grounded-SAM2 facilitates open-vocabulary detection, while a memory-augmented VLM generates, critiques, and revises manipulation sequences. These sequences are converted into parametric trajectories for five primitives executed by coordinated Franka arms. Evaluated in simulated scenarios, our system achieving 87.2% task completion, a 28.8% improvement over static VLM and 36.2% over single-arm baselines. Structured memory integration proves crucial for robust, generalizable manipulation while maintaining real-time control performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI