日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.05576

TD-TOGデータセット:物体汎化のためのゼロショットおよびワンショットタスク指向把持のベンチマーク

TD-TOG Dataset: Benchmarking Zero-Shot and One-Shot Task-Oriented Grasping for Object Generalization

シェア:XThreadsFacebookLINEはてブBluesky

実世界RGB-Dシーン1449件からなるタスク指向把持(TOG)データセットを構築し、未知物体に適応するゼロショット物体認識とワンショットアフォーダンス認識を組み合わせたBinary-TOGフレームワークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、ロボットのタスク指向把持(TOG: Task-oriented Grasping)のための新しいデータセットとフレームワークを提案する。 - TD-TOG dataset: 実世界のRGB-Dシーン1,449件、30カテゴリ・120サブカテゴリを含む。 - 人手で注釈されたobject masks、affordances、planar rectangular graspsを提供。 - 物体サブカテゴリの識別能力を評価する新規テストセットを含む。 - Binary-TOG: zero-shotで物体認識、one-shotでaffordance認識を行うTOGフレームワーク。

2. 先行研究と比べてどこがすごい?

- 既存のTOGデータセットは需要に比べて不足しており、しばしばsyntheticまたはmask注釈にartifactがありモデル性能を妨げる。 - 既存データセットはaffordance masks、grasps、object masksの一部しか提供しないことが多い。 - TD-TOGは実世界RGB-Dでこれら3種の注釈をすべて人手で提供する点が異なる。 - 物体サブカテゴリ識別を評価する新規テストセットを備える点も先行研究にない特徴。 - Binary-TOGは再学習なしで未見物体に対応するTOGを目指す枠組みを提案。

3. 技術・手法の肝は?

- TD-TOG dataset: 実世界RGB-Dシーンを収集し、object masks・affordances・planar rectangular graspsを人手注釈。 - 30カテゴリ・120サブカテゴリを網羅し、サブカテゴリ識別を測るテストセットを設計。 - Binary-TOG: zero-shot learningで物体認識を行い、textual promptsにより多物体シーン中の物体を同定。 - one-shot learningでaffordance認識を実施。 - zero-shot物体認識によりvisual reference不要で物体を特定。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- TD-TOG dataset上でBinary-TOGを評価。 - 多物体設定において平均task-oriented grasp accuracy 68.9%を達成。 - 物体サブカテゴリ識別を評価する新規テストセットを用意し、TOG手法の物体一般化能力を測定。 - one-shot learningとzero-shot learningの物体一般化に関する比較分析を実施。 - 具体的なベースライン比較や被験者実験の詳細は要旨からは不明。

5. 議論はある?

- one-shot learningとzero-shot learningのTOGにおける物体一般化の比較分析を提供し、将来のTOG手法開発に資する知見を示す。 - 多物体設定での平均task-oriented grasp accuracyは68.9%であり、改善余地がある。 - データセットの規模・多様性や注釈品質に関する限界、Binary-TOGの失敗事例やロボット実機での検証については要旨からは不明。 - サブカテゴリ識別の難しさやzero-shot物体認識の誤り伝播についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として、TOGにおけるaffordance認識を用いる手法、zero-shot object detection、one-shot learningによるaffordance認識、task-oriented graspingのベンチマーク研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Valerija Holomjova, Jamie Grech, Dewei Yi, Bruno Yun, Andrew Starkey, Pascal Meißner

分類: cs.RO

原文アブストラクト

Task-oriented grasping (TOG) is an essential preliminary step for robotic task execution, which involves predicting grasps on regions of target objects that facilitate intended tasks. Existing literature reveals there is a limited availability of TOG datasets for training and benchmarking despite large demand, which are often synthetic or have artifacts in mask annotations that hinder model performance. Moreover, TOG solutions often require affordance masks, grasps, and object masks for training, however, existing datasets typically provide only a subset of these annotations. To address these limitations, we introduce the Top-down Task-oriented Grasping (TD-TOG) dataset, designed to train and evaluate TOG solutions. TD-TOG comprises 1,449 real-world RGB-D scenes including 30 object categories and 120 subcategories, with hand-annotated object masks, affordances, and planar rectangular grasps. It also features a test set for a novel challenge that assesses a TOG solution's ability to distinguish between object subcategories. To contribute to the demand for TOG solutions that can adapt and manipulate previously unseen objects without re-training, we propose a novel TOG framework, Binary-TOG. Binary-TOG uses zero-shot for object recognition, and one-shot learning for affordance recognition. Zero-shot learning enables Binary-TOG to identify objects in multi-object scenes through textual prompts, eliminating the need for visual references. In multi-object settings, Binary-TOG achieves an average task-oriented grasp accuracy of 68.9%. Lastly, this paper contributes a comparative analysis between one-shot and zero-shot learning for object generalization in TOG to be used in the development of future TOG solutions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI