日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ生成arXiv:2606.17446

AnnotateAnything: ロボット操作のための3Dアセット自動アノテーション

AnnotateAnything: Automatic Annotation of 3D Assets for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

受動的な3Dアセットに、物体の意味・相互作用・物理的制約を考慮した操作ラベル(把持、接触、関節動作など)を自動付与するフレームワークを提案し、シミュレーションデータ収集の効率とタスク成功率を向上させた。

詳しい要約

1. どんなもの?

- 3Dアセットを操作可能な資産へ変換する自動注釈フレームワーク - 意味・相互作用・物理知識を付与し、操作ラベルを生成 - 把持姿勢、巧みな接触、関節ウェイポイント、挿入方向、吊り下げアフォーダンス、ナビゲーション目標を含む - 非同期並列シミュレーションデータ収集システムも構築

2. 先行研究と比べてどこがすごい?

- 既存の注釈・データ生成パイプラインより注釈効率、データ収集効率、タスク成功率が優れる - 生の3Dアセットは幾何のみで意味・物理知識が欠如する問題に対処 - 多様なオブジェクト、タスク、ロボット身体に対応 - アフォーダンス検出、ロボティックVQA、視覚指示微調整などの下流タスクも支援

3. 技術・手法の肝は?

- 2つの相補的パイプラインで構成 - 視覚言語注釈パイプライン:視覚言語推論で物体意味、相互作用制約、3D接地手がかりを推論し人間事前ガイダンスを提供 - 物理注釈パイプライン:候補生成、幾何最適化、軌道生成を通じて事前を各資産の幾何・物理制約に接地 - 完全自動かつ大規模並列で多様で実行可能な行動注釈を生成

4. どうやって有効だと検証した?

- 注釈効率、データ収集効率、タスク成功率を既存パイプラインと比較 - アフォーダンス検出、ロボティックVQA、視覚指示微調整などの下流タスクで支援を実証 - プロジェクトページでビデオ、コード、デモ資産、注釈を提供

5. 議論はある?

- 要旨からは不明 - 限界や議論の詳細は記述されていない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番としてシミュレーションにおけるロボット操作データ生成、アフォーダンス検出、視覚言語モデルを用いた注釈手法が関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Lu, Mutian Shen, Shuyang Yu, Yu Xiao, Songling Liu, Jianshu Zhang, Shang Wu, Yue Chen, Guo Ye, Jiayi Wang, Zhaoran Wang, Han Liu

分類: cs.RO, cs.CV

原文アブストラクト

Simulation enables scalable robot data collection, but raw 3D assets provide only geometry, lacking the semantic, interactive, and physical knowledge needed to specify where and how robots should act. In this work, we present AnnotateAnything, a general automatic annotation framework that converts passive 3D assets into manipulation-ready assets with structured, diverse, and executable manipulation labels. AnnotateAnything is built around two complementary pipelines. First, a unified visual-language annotation pipeline using vision-language reasoning to infer object semantics, interaction constraints, and 3D-grounded cues, providing human-prior guidance for identifying meaningful interaction regions. Second, a fully automatic and massively parallel physics annotation pipeline grounds these priors in each asset's geometry and physical constraints through candidate generation, geometry optimization and trajectory generation. This pipeline produces diverse and executable action annotations, including grasp poses, dexterous contacts, articulation waypoints, insertion directions, hanging affordances, and navigation targets. Using the generated annotations, we further build an asynchronous parallel simulation data-collection system across diverse objects, tasks, and robot embodiments. Experiments demonstrate that AnnotateAnything achieves superior annotation efficiency, data-collection efficiency, and task success rates over existing annotation and data-generation pipelines, while also supporting downstream tasks such as affordance detection, robotic VQA, and visual instruction finetuning. We provide project materials on the project page and plan to release the full code, annotations, and benchmark to facilitate future research. Videos, code, demo assets, and annotations are provided in supplementary materials Project page: https://tourmaline-caramel-169490.netlify.app.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI