マニピュレーション2026/3/1arXiv:2603.09971

TiPToP: 計画を行うモジュラーなオープン語彙ロボットマニピュレーションシステム

TiPToP: A Modular Open-Vocabulary Robot Manipulation System That Plans

事前学習済み基盤モデルとGPU加速タスク・モーションプランナを組み合わせ、RGB画像と言語から直接ロボット操作を計画・実行するモジュラーシステムを提案。訓練データ不要でVLAを上回る成功率と速度を達成。

詳しい要約

1. どんなもの？

- RGB画像と自然言語から直接タスクを解くmodular manipulation system - pretrained foundation modelsとGPU-accelerated Task and Motion Plannerを統合 - perception, planning, executionのモジュールで構成 - robot training data不要 - 標準的なDROID setupに1時間以内で配備可能 - 新しいembodimentにも最小限の労力で適応可能 - オープンソースで公開

2. 先行研究と比べてどこがすごい？

- 先行研究: 350時間のdemonstrationsでfine-tunedされたstate-of-the-art VLAであるπ0.5-DROID - 2つの実世界DROID setup(1つは外部チームが運用)とsimulationで比較 - TiPToPはより高い平均成功率とより速い平均完了時間を達成 - MolmoSpaces benchmarkでは、in-distribution dataで訓練されていない手法の中でpickおよびpick-and-placeタスクで総合1位 - modularityにより失敗を特定のコンポーネントに追跡可能

3. 技術・手法の肝は？

- pretrained foundation modelsを活用 - GPU-accelerated Task and Motion Plannerを統合 - perception, planning, executionのモジュールを構成 - RGB画像と自然言語から直接タスクを解く - robot training dataを必要としない - 標準的なDROID setupに1時間以内で配備 - 新しいembodimentに最小限の労力で適応

4. どうやって有効だと検証した？

- 2つの実世界DROID setup(1つは外部チームが運用)とsimulationで評価 - π0.5-DROIDと比較し、より高い平均成功率とより速い平均完了時間を達成 - MolmoSpaces benchmarkで評価し、in-distribution dataで訓練されていない手法の中でpickおよびpick-and-placeタスクで総合1位 - modularityにより失敗を特定のコンポーネントに追跡できることを示した

5. 議論はある？

- modularityにより失敗を特定のコンポーネントに追跡可能で、改善のターゲットが明らかになる - 再現可能なbaselineとしてオープンソースで公開し、modular manipulation systemsのさらなる研究を可能にする - その他の議論や限界については要旨からは不明

6. 次に読むべき論文は？

- π0.5-DROID (state-of-the-art VLA) - MolmoSpaces benchmark - DROID setup - modular manipulation systemsに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: William Shen, Nishanth Kumar, Sahit Chintalapudi, Ryan Lindeborg, Jie Wang, Christopher Watson, Edward Hu, Jing Cao, Dinesh Jayaraman, Leslie Pack Kaelbling, Tomás Lozano-Pérez

分類: cs.RO

原文アブストラクト

We present TiPToP, a modular manipulation system that integrates pretrained foundation models with a GPU-accelerated Task and Motion Planner to solve tasks directly from RGB images and natural language. TiPToP composes perception, planning, and execution modules and requires no robot training data. It can be deployed on a standard DROID setup in under an hour and adapted to new embodiments with minimal effort. We evaluate TiPToP against $\pi_{0.5}\text{-DROID}$, a state-of-the-art VLA fine-tuned on 350 hours of demonstrations, across two real-world DROID setups (one operated by an external team) and simulation, where TiPToP attains a higher average success rate and faster average completion time. We also evaluate on the MolmoSpaces benchmark, where TiPToP ranks first overall on pick and pick-and-place tasks among methods not trained on in-distribution data. We further show that TiPToP's modularity enables us to trace failures to specific components, revealing where to target improvements. We release TiPToP open-source to serve as a reproducible baseline and to enable further research on modular manipulation systems. Project website and code: https://tiptop-robot.github.io

arXivで原文を読む →arXiv概要ページ

TiPToP: 計画を行うモジュラーなオープン語彙ロボットマニピュレーションシステム

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell