日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.11052

AdaptPNP: 把持・非把持スキルを統合した適応的ロボットマニピュレーション

AdaptPNP: Integrating Prehensile and Non-Prehensile Skills for Adaptive Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMを用いて把持と非把持(押す・つつく等)の動作を組み合わせた計画を生成し、デジタルツインで予測しながら実環境でも適応的に再計画するマニピュレーション枠組みを提案した論文。

詳しい要約

1. どんなもの?

- 非把持マニピュレーション(NP: pushing, poking, sliding など)と把持マニピュレーション(P)を統合する枠組み - VLM(vision-language model)を用いた task and motion planning フレームワーク「AdaptPNP」(本文表記は ApaptPNP) - 視覚観測とテキスト指示から P/NP を選択・組合せ、多段階の操作計画を生成 - 対象は simulation と real-world の P&NP ハイブリッド操作タスク

2. 先行研究と比べてどこがすごい?

- 従来は NP と P を別々に扱うことが多く、単一フレームワークでタスク・物体・環境をまたいで汎化しつつ両者を統合するのは困難だった - 本手法は「いつ NP を呼ぶか」「どの primitive を選ぶか」「P と NP をどう組合せるか」を VLM で体系的に決定 - 多段階計画の生成と実行フィードバックによる再計画を一つの枠組みに統合した点が特徴 - 具体的な先行研究名との定量比較は要旨からは不明

3. 技術・手法の肝は?

- VLM が視覚シーン観測とテキストのタスク記述を解釈し、P/NP 行動の順序と協調を規定する high-level plan skeleton を生成 - digital-twin based object-centric intermediate layer が目標物体 pose を予測し、操作系列を事前に mental rehearsal - control module が低レベル robot command を合成 - 連続的な実行 feedback により online で task plan を refinement し、VLM を通じて adaptive replanning

4. どうやって有効だと検証した?

- simulation と real-world の両環境で、代表的な P&NP hybrid manipulation タスクを対象に評価 - 結果は hybrid P&NP manipulation が汎用・人間レベルの操作能力への重要な一歩となり得ることを示唆 - 具体的なタスク名・ベースライン・指標・成功率は要旨からは不明

5. 議論はある?

- 著者は hybrid P&NP manipulation を general-purpose, human-level robotic manipulation への鍵と位置づけ - 限界・失敗事例・計算コスト・VLM 依存性などの具体的議論は要旨からは不明 - 定量結果の詳細や比較考察も要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として VLM ベースの task and motion planning、digital twin を用いた object-centric planning、non-prehensile manipulation(pushing, poking, sliding)、adaptive replanning に関する研究を次に読む候補として挙げる - プロジェクトページ https://adaptpnp.github.io/ の参照文献も確認対象

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinxuan Zhu, Chenrui Tie, Xinyi Cao, Yuran Wang, Jingxiang Guo, Zixuan Chen, Haonan Chen, Junting Chen, Yangyu Xiao, Ruihai Wu, Lin Shao

分類: cs.RO

原文アブストラクト

Non-prehensile (NP) manipulation, in which robots alter object states without forming stable grasps (for example, pushing, poking, or sliding), significantly broadens robotic manipulation capabilities when grasping is infeasible or insufficient. However, enabling a unified framework that generalizes across different tasks, objects, and environments while seamlessly integrating non-prehensile and prehensile (P) actions remains challenging: robots must determine when to invoke NP skills, select the appropriate primitive for each context, and compose P and NP strategies into robust, multi-step plans. We introduce ApaptPNP, a vision-language model (VLM)-empowered task and motion planning framework that systematically selects and combines P and NP skills to accomplish diverse manipulation objectives. Our approach leverages a VLM to interpret visual scene observations and textual task descriptions, generating a high-level plan skeleton that prescribes the sequence and coordination of P and NP actions. A digital-twin based object-centric intermediate layer predicts desired object poses, enabling proactive mental rehearsal of manipulation sequences. Finally, a control module synthesizes low-level robot commands, with continuous execution feedback enabling online task plan refinement and adaptive replanning through the VLM. We evaluate ApaptPNP across representative P&NP hybrid manipulation tasks in both simulation and real-world environments. These results underscore the potential of hybrid P&NP manipulation as a crucial step toward general-purpose, human-level robotic manipulation capabilities. Project Website: https://adaptpnp.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI