日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス/操作arXiv:2606.02551

AFUN: 機能理解のためのアフォーダンス基盤モデルに向けて

AFUN: Towards an Affordance Foundation Model for Functionality Understanding

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGB-D観測と言語タスク記述から、タスク条件付き機能マスクと3D接触後動作曲線を予測するアフォーダンス基盤モデルを提案し、大規模データパイプラインによりオープンワールドでの汎化を実現した。

詳しい要約

1. どんなもの?

- 単一の RGB-D 観測と言語タスク記述から、タスク条件付きの機能マスク(どこで相互作用するか)と 3D 接触後運動曲線(どのように相互作用するか)を予測する affordance foundation model の提案。 - ロボットマニピュレーションのための説明可能なインターフェースとして、視覚知覚と物理行動を橋渡しすることを目指す。 - 異なる環境・物体・タスクに汎化する affordance 理解の基盤モデルへの一歩。

2. 先行研究と比べてどこがすごい?

- 既存手法は課題の一部のみを扱う:タスク関連領域の定位のみで実行可能な運動を指定しない、または運動予測するがスケーラビリティが限られる。 - 提案手法は「どこで」と「どのように」の両方を予測し、多様な環境・物体・タスクに汎化することを目指す。 - affordance segmentation で 4 ベンチマーク・8 テストセットにおいて全ベースラインを大きく上回り、mean gIoU/cIoU を +23.9/+26.3 改善。 - contact-point prediction でヒット率を 12.7–61.3% 向上。3D motion で全 3 テストセットで最高性能。

3. 技術・手法の肝は?

- 単一 RGB-D 観測と言語タスク記述を入力とし、タスク条件付き機能マスクと 3D 接触後運動曲線を出力するモデル。 - 大規模標準化データパイプラインを構築し、異種のロボット・人間・シミュレーション・実世界スキャンデータを、言語・マスク・物体中心 3D 運動ラベルを持つ共通 affordance スキーマに変換。 - これにより open-world 汎化を支援。

4. どうやって有効だと検証した?

- affordance segmentation:4 ベンチマークの 8 テストセットで評価し、mean gIoU/cIoU を +23.9/+26.3 改善。 - contact-point prediction:最高ベースライン比でヒット率 12.7–61.3% 向上。 - 3D motion:3 テストセットすべてで最高性能。 - 実世界ロボットマニピュレーションに、ロボット embodiment のファインチューニングやタスク固有ヒューリスティックなしで展開可能。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究名は記載されていない。 - 関連手法として affordance segmentation、contact-point prediction、3D motion prediction の既存ベースラインが挙げられるが、個別名は要旨からは不明。 - 同分野の定番として affordance learning、robot manipulation、foundation model に関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

分類: cs.RO, cs.CV

原文アブストラクト

Affordance understanding bridges visual perception and physical action, serving as an explainable interface for robot manipulation in open and unstructured real-world environments. Yet, building an affordance foundation model that not only understands where and how the interaction should happen, but also generalizes across diverse environments, objects, and tasks, remains a long-standing research challenge. Existing methods typically address only part of this challenge, either localizing task-relevant regions without specifying executable motion, or predicting motion but with limited scalability. In this paper, we present ourmodel, a step towards an affordance foundation model for functionality understanding. From a single RGB-D observation and a language task description, ourmodel predicts a task-conditional functional mask (where to interact) and a 3D post-contact motion curve (how to interact). To support open-world generalization, we build a large-scale standardized data pipeline that converts heterogeneous robot, human, simulation, and real-world scan data into a shared affordance schema with language, masks, and object-centric 3D motion labels. We evaluate ourmodel from three aspects: for affordance segmentation, ourmodel outperforms all baselines by a large margin across 8 test sets from 4 benchmarks, improving mean gIoU/cIoU by +23.9/+26.3; for contact-point prediction, it predicts substantially more accurate points, with a 12.7--61.3% hit-rate gain over the best baseline; and for 3D motion, it achieves the best performance on all three test sets. ourmodel can be deployed for real-world robot manipulation without finetuning for robot embodiment or using task-specific heuristics, demonstrating the ability to adapt to open-world affordance tasks. Project page: https://www.zhaoningwang.com/AFUN

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI