日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

把持arXiv:2507.23734

RAGNet:汎用把持に向けた大規模推論ベースのアフォーダンスセグメンテーションベンチマーク

RAGNet: Large-scale Reasoning-based Affordance Segmentation Benchmark towards General Grasping

シェア:XThreadsFacebookLINEはてブBluesky

人間の指示に基づく物体のアフォーダンスを大規模に学習・評価するためのベンチマークRAGNetと、それを用いた把持フレームワークAffordanceNetを提案し、実世界での汎化性能を示した。

詳しい要約

1. どんなもの?

- 大規模な grasping-oriented affordance segmentation benchmark と grasping framework の提案 - RAGNet: 273k images、180 categories、26k reasoning instructions を含むデータセット - 画像は wild、robot、ego-centric、simulation など多様な embodied data domains を網羅 - affordance map を丁寧にアノテーション - 言語指示はカテゴリ名を除き機能記述のみにして難易度を上げている - AffordanceNet: VLM と grasping network からなる affordance-based grasping framework

2. 先行研究と比べてどこがすごい?

- 先行研究は reasoning-based な大規模 affordance prediction data を欠いており、open-world での有効性に懸念があった - 本研究は human-like instructions 付きの大規模 grasping-oriented affordance segmentation benchmark を構築 - カテゴリ名を除き機能記述のみの指示により言語指示の難易度を大幅に上げている点が特徴 - 多様な embodied data domains をカバーし、open-world generalization を狙う点で先行研究と異なる

3. 技術・手法の肝は?

- RAGNet: 273k images、180 categories、26k reasoning instructions からなるデータセット - wild、robot、ego-centric、simulation の多様なドメイン画像 - affordance map のアノテーション - カテゴリ名を除いた機能記述のみの言語指示 - AffordanceNet: 2 つの構成要素 - massive affordance data で事前学習した VLM - affordance map を条件として対象を把持する grasping network

4. どうやって有効だと検証した?

- affordance segmentation benchmarks での広範な実験 - real-robot manipulation tasks での実験 - これらの実験により、モデルが強力な open-world generalization ability を持つことを示した - 具体的な評価指標や比較手法の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として、open-world での generalization の限界、言語指示の難易度設定の妥当性、real-robot での失敗事例などが考えられるが、要旨には明記されていない

6. 次に読むべき論文は?

- RAGNet および AffordanceNet の元論文・プロジェクトページ (https://github.com/wudongming97/AffordanceNet) - VLM を用いた affordance perception の関連研究 - affordance segmentation の既存 benchmark 研究 - open-world grasping や real-robot manipulation の関連研究 - 要旨で具体的に参照・比較されている個別研究は明示されていないため、上記は同分野の一般名・関連手法として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongming Wu, Yanping Fu, Saike Huang, Yingfei Liu, Fan Jia, Nian Liu, Feng Dai, Tiancai Wang, Rao Muhammad Anwer, Fahad Shahbaz Khan, Jianbing Shen

分類: cs.CV, cs.RO

原文アブストラクト

General robotic grasping systems require accurate object affordance perception in diverse open-world scenarios following human instructions. However, current studies suffer from the problem of lacking reasoning-based large-scale affordance prediction data, leading to considerable concern about open-world effectiveness. To address this limitation, we build a large-scale grasping-oriented affordance segmentation benchmark with human-like instructions, named RAGNet. It contains 273k images, 180 categories, and 26k reasoning instructions. The images cover diverse embodied data domains, such as wild, robot, ego-centric, and even simulation data. They are carefully annotated with an affordance map, while the difficulty of language instructions is largely increased by removing their category name and only providing functional descriptions. Furthermore, we propose a comprehensive affordance-based grasping framework, named AffordanceNet, which consists of a VLM pre-trained on our massive affordance data and a grasping network that conditions an affordance map to grasp the target. Extensive experiments on affordance segmentation benchmarks and real-robot manipulation tasks show that our model has a powerful open-world generalization ability. Our data and code is available at https://github.com/wudongming97/AffordanceNet.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI