日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.06206

Affordance-R1: マルチモーダル大規模言語モデルにおける汎化可能なアフォーダンス推論のための強化学習

Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model

シェア:XThreadsFacebookLINEはてブBluesky

強化学習(GRPO)と認知Chain-of-Thoughtを統合し、ロボットが物体の操作可能領域を推論するアフォーダンス・グラウンディングをゼロショットで汎化可能にした初の統一フレームワーク。

詳しい要約

1. どんなもの?

- ロボットが行う行動に関連する物体の領域を予測する affordance grounding の研究 - マルチモーダル大規模言語モデル (Multimodal Large Language Model) における汎化可能な affordance reasoning を目的とする - 認知的な Chain-of-Thought (CoT) を導く Group Relative Policy Optimization (GRPO) を強化学習パラダイムに統合した初の統一的 affordance grounding フレームワーク Affordance-R1 を提案 - 人間-ロボット相互作用、人間-物体相互作用、embodied manipulation、embodied perception に重要と位置づける

2. 先行研究と比べてどこがすごい?

- 既存モデルは異なる物体間で共有される affordance を軽視し、Chain-of-Thought (CoT) reasoning 能力を欠くため out-of-domain (OOD) 汎化と明示的推論が制限されていた - Affordance-R1 は強化学習のみで訓練し、明示的な reasoning データを用いずに robust な zero-shot 汎化と創発的な test-time reasoning を実現 - 既存の確立手法を上回り、open-world 汎化を示す - 著者の知る限り、GRPO ベースの強化学習と reasoning を affordance reasoning に統合した初の試み

3. 技術・手法の肝は?

- 認知 CoT を導く Group Relative Policy Optimization (GRPO) を強化学習パラダイムに統合した統一フレームワーク - 洗練された affordance function を設計し、format・perception・cognition の報酬で最適化方向を効果的に導く - affordance 中心の高品質 reasoning データセット ReasonAff を構築し訓練を支援 - 訓練は GRPO による強化学習のみで行い、明示的 reasoning データを使用しない

4. どうやって有効だと検証した?

- 包括的な実験を実施し、確立された手法を上回ることを示す - robust な zero-shot 汎化と open-world 汎化を示す - 創発的な test-time reasoning 能力を確認 - 具体的なデータセット名・ベンチマーク名・評価指標は要旨からは不明

5. 議論はある?

- 既存モデルの限界として、物体間で共有される affordance の軽視と CoT reasoning 能力の欠如を指摘 - 明示的 reasoning データなしの強化学習のみで zero-shot 汎化と創発的 reasoning が得られる点を主張 - 具体的な限界・失敗事例・計算コスト・報酬設計の感度などは要旨からは不明

6. 次に読むべき論文は?

- Group Relative Policy Optimization (GRPO) - Chain-of-Thought (CoT) reasoning - 強化学習ベースの reasoning モデル (例: DeepSeek-R1 系) - affordance grounding の既存手法 - マルチモーダル大規模言語モデル (Multimodal Large Language Model) の embodied 応用 - 提案データセット ReasonAff 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanqing Wang, Shaoyang Wang, Yiming Zhong, Zemin Yang, Jiamin Wang, Zhiqing Cui, Jiahao Yuan, Yifan Han, Mingyu Liu, Yuexin Ma

分類: cs.RO, cs.CV

原文アブストラクト

Affordance grounding focuses on predicting the specific regions of objects that are associated with the actions to be performed by robots. It plays a vital role in the fields of human-robot interaction, human-object interaction, embodied manipulation, and embodied perception. Existing models often neglect the affordance shared among different objects because they lack the Chain-of-Thought(CoT) reasoning abilities, limiting their out-of-domain (OOD) generalization and explicit reasoning capabilities. To address these challenges, we propose Affordance-R1, the first unified affordance grounding framework that integrates cognitive CoT guided Group Relative Policy Optimization (GRPO) within a reinforcement learning paradigm. Specifically, we designed a sophisticated affordance function, which contains format, perception, and cognition rewards to effectively guide optimization directions. Furthermore, we constructed a high-quality affordance-centric reasoning dataset, ReasonAff, to support training. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Affordance-R1 achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Comprehensive experiments demonstrate that our model outperforms well-established methods and exhibits open-world generalization. To the best of our knowledge, Affordance-R1 is the first to integrate GRPO-based RL with reasoning into affordance reasoning. The code of our method and our dataset is released on https://github.com/hq-King/Affordance-R1.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI