日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2505.21652

PartInstruct: 部品レベル指示による細粒度ロボットマニピュレーションのためのベンチマーク

PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

部品レベルの指示と3Dラベル付き物体を含む大規模データセットとベンチマークを構築し、既存のロボットマニピュレーション手法を評価した。

詳しい要約

1. どんなもの？

- PartInstructは、part-level instructionを用いたfine-grained robot manipulationのための大規模benchmark - 513 object instances（14 categories）をpart-level情報付きで収録 - 1302 fine-grained manipulation tasksを16 task classesに整理 - 10,000以上のexpert demonstrationsを3D simulatorで合成 - 各demonstrationにhigh-level task instruction、base part-based skill instructionsの連鎖、objectとpartのground-truth 3D情報を付与 - 学習用だけでなく、新規state・object・taskへのgeneralizabilityを評価するtest suiteも設計

2. 先行研究と比べてどこがすごい？

- 従来のgeneral-purpose robot manipulation policy研究はlanguage instruction guidedの進展がある一方、part-level instructionとpart-level label付き多様3D object instancesを備えた大規模datasetが不足 - PartInstructはfine-grained robot manipulationモデルの訓練・評価のための初の大規模benchmarkと位置づけ - part-level instruction、skill instructionの連鎖、3D part情報を組み合わせた点が先行研究と比べた特徴 - 具体的な比較対象研究名は要旨からは不明

3. 技術・手法の肝は？

- 3D simulator内でexpert demonstrationsを合成し、high-level task instructionとbase part-based skill instructionsの連鎖を付与 - objectおよびpartのground-truth 3D情報を各demonstrationに紐付け - 16 task classesからなるfine-grained manipulation tasksを設計 - 新規state・object・taskへのgeneralizationを測るcomprehensive test suiteを構築 - 評価対象としてend-to-end vision-language policy learningとbi-level planning models for robot manipulationを採用

4. どうやって有効だと検証した？

- PartInstruct上で複数のstate-of-the-art robot manipulation approachesを評価 - end-to-end vision-language policy learningとbi-level planning models for robot manipulationを実験対象に含む - 新規state・object・taskへのgeneralizabilityを評価するtest suiteを用いて検証 - 結果として、現行モデルはpart conceptsのrobustなgroundingと3D空間でのaction predictionに苦戦し、long-horizon tasksでのobject part manipulationに課題があることを示した

5. 議論はある？

- 現行モデルはpart概念のgroundingと3D空間のaction predictionが不十分 - long-horizon tasksにおけるobject partのmanipulationに課題 - fine-grained manipulationにはpart-level reasoningと3D関係理解が重要であることを示唆 - 具体的な議論や制限の詳細は要旨からは不明

6. 次に読むべき論文は？

- end-to-end vision-language policy learningに関する代表的研究 - bi-level planning models for robot manipulationに関する研究 - part-level groundingや3D action predictionを扱うrobot manipulation研究 - long-horizon robot manipulationのplanning研究 - 要旨で参照・比較されている個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Yin, Zhengtao Han, Shivam Aarya, Jianxin Wang, Shuhang Xu, Jiawei Peng, Angtian Wang, Alan Yuille, Tianmin Shu

分類: cs.RO, cs.AI

原文アブストラクト

Fine-grained robot manipulation, such as lifting and rotating a bottle to display the label on the cap, requires robust reasoning about object parts and their relationships with intended tasks. Despite recent advances in training general-purpose robot manipulation policies guided by language instructions, there is a notable lack of large-scale datasets for fine-grained manipulation tasks with part-level instructions and diverse 3D object instances annotated with part-level labels. In this work, we introduce PartInstruct, the first large-scale benchmark for training and evaluating fine-grained robot manipulation models using part-level instructions. PartInstruct comprises 513 object instances across 14 categories, each annotated with part-level information, and 1302 fine-grained manipulation tasks organized into 16 task classes. Our training set consists of over 10,000 expert demonstrations synthesized in a 3D simulator, where each demonstration is paired with a high-level task instruction, a chain of base part-based skill instructions, and ground-truth 3D information about the object and its parts. Additionally, we designed a comprehensive test suite to evaluate the generalizability of learned policies across new states, objects, and tasks. We evaluated several state-of-the-art robot manipulation approaches, including end-to-end vision-language policy learning and bi-level planning models for robot manipulation on our benchmark. The experimental results reveal that current models struggle to robustly ground part concepts and predict actions in 3D space, and face challenges when manipulating object parts in long-horizon tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →