日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.11674

AffordSim: アフォーダンス認識ロボット操作のためのスケーラブルなデータ生成器とベンチマーク

AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語のタスク記述から3Dアフォーダンス予測を統合し、タスク関連シーンと軌道を自動生成するデータ生成器とベンチマークを提案。手動注釈なしで高成功率を達成し、実ロボットへのゼロショット転送も実証。

詳しい要約

1. どんなもの?

本論文は、ロボットマニピュレーションのためのaffordance-awareなデータ生成器およびベンチマーク「AffordSim」を提案する。自然言語タスク記述から、タスクに関連するシーンを合成し、affordanceクエリを発行して物体表面上にグラウンディングし、領域条件付きgraspをサンプリングし、motion planningで実行可能候補を選択する。50タスク、5つのロボットembodiment、500以上の剛体・関節物体を含むベンチマークとして実装される。

2. 先行研究と比べてどこがすごい?

従来のシミュレーションデータ生成器は、汎用grasp推定器や物体ごとの手動contactアノテーションからcontactを得ていた。しかし汎用推定器はタスク意味論なしに安定graspをランク付けし、下流actionと不一致なcontactを選びがちであり、手動アノテーションは新しい物体・タスクごとに書き直す必要があった。AffordSimはopen-vocabulary 3D affordance predictionを統合し、これらの課題を解決する。

3. 技術・手法の肝は?

AffordSimは、自然言語タスク記述が与えられると、タスク関連シーンを合成し、affordanceクエリを発行して物体表面上にグラウンディングし、領域条件付きgraspをサンプリングし、motion planningで実行可能候補を選択する。さらに、sim-to-real転移のために物体pose、texture、lighting、image noise、cross-viewpoint backgroundsをランダム化する。

4. どうやって有効だと検証した?

AffordSimは、affordance-criticalタスクで手動contactアノテーションの軌道収集成功率の93%、hard compositeタスクで89%を達成した。また、AffordSimデータで訓練したvision-language-action policiesが、実機Franka FR3にzero-shot転移し、平均成功率24%に達した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として、generic grasp estimators、per-object manual contact annotations、vision-language-action policiesが挙げられる。関連手法として、open-vocabulary 3D affordance prediction、motion planning、sim-to-real transferも挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyang Li, Haofan Xu, Haowen Sun, Xinzhe Chen, Sihua Ren, Liqi Huang, Xinyang Sui, Chenyang Miao, Jiawei Ye, Qiongjie Cui, Zeyang Liu, Xingyu Chen, Xuguang Lan

分類: cs.RO, cs.AI

原文アブストラクト

Many everyday robot manipulation skills are affordance-dependent, with success determined by whether the robot contacts the functional object region required by the subsequent action. Current simulation data generators obtain contacts from generic grasp estimators or per-object manual contact annotations, but generic estimators rank stable grasps without task semantics and often select contacts that are misaligned with the downstream action, while manual contact annotations must be rewritten for each new object and task. To solve these challenges, we introduce AffordSim, a scalable data generator and benchmark that integrates open-vocabulary 3D affordance prediction into simulation-based trajectory generation. Given a natural-language task description, AffordSim synthesizes a task-relevant scene, emits affordance queries, grounds them on object surfaces, samples region-conditioned grasps, and selects executable candidates with motion planning. It further randomizes object pose, texture, lighting, image noise, and cross-viewpoint backgrounds for sim-to-real transfer. We instantiate AffordSim as a 50-task benchmark across diverse manipulation skills, five robot embodiments, and 500+ rigid and articulated objects. AffordSim achieves 93% of the trajectory collection success rate of manual contact annotations on affordance-critical tasks and 89% on hard composite tasks. Vision-language-action policies trained on AffordSim data transfer zero-shot to a real Franka FR3, reaching 24% average success.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI