日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス予測arXiv:2508.17922

自己中心視点での指示に基づくアフォーダンス予測:大規模マルチモーダルモデルによるアプローチ

Egocentric Instruction-oriented Affordance Prediction via Large Multimodal Model

シェア:XThreadsFacebookLINEはてブBluesky

指示に依存するアフォーダンス予測のための自己中心視点データセットを構築し、大規模マルチモーダルモデルに「検証者に対する探索」パイプラインを適用して予測能力を実現した。

詳しい要約

1. どんなもの?

- 物体操作のためのaffordance予測を扱う研究 - 指示(instruction)依存で操作領域・方向が変わるという主張 - 15,000件のobject-instruction-affordance tripletsからなる新datasetを提示 - 全sceneはegocentric viewpointで、human-like robotの視点を近似 - LMMをaffordance predictorとして機能させる手法を検討

2. 先行研究と比べてどこがすごい?

- 従来研究はtask-/instruction依存性を軽視していたと指摘 - 同一物体でも指示により操作領域・方向が変わる点を明示的に扱う - egocentric視点に限定したdatasetを新規構築した点 - LMMをaffordance予測に活用する枠組みを提案 - 指示志向のaffordance予測能力を新たに引き出したと主張

3. 技術・手法の肝は?

- LMMをaffordance predictorとして用いる - "search against verifiers" pipelineを実装 - LMMがaffordanceを段階的に予測 - 各ステップの出力をLMM自身が検証 - 反復プロセスでreasoningを模倣する構成

4. どうやって有効だと検証した?

- 提案手法の実験を実施したと記載 - instruction-oriented affordance prediction能力の獲得を示す - 広範に優れた性能を達成したと報告 - 具体的なbenchmark・metric・比較対象は要旨からは不明

5. 議論はある?

- instruction依存affordanceの重要性を議論 - egocentric視点の妥当性に言及 - LMMの自己検証によるreasoning模倣の有効性を示唆 - 限界・失敗事例・定量的詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較された個別研究は明示されていない - 関連手法としてaffordance prediction、LMM-based manipulation、egocentric vision、instruction-conditioned manipulationの定番研究を挙げる - "search against verifiers"系のself-verification研究も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bokai Ji, Jie Gu, Xiaokang Ma, Chu Tang, Jingmin Chen, Guangxia Li

分類: cs.RO, cs.CV

原文アブストラクト

Affordance is crucial for intelligent robots in the context of object manipulation. In this paper, we argue that affordance should be task-/instruction-dependent, which is overlooked by many previous works. That is, different instructions can lead to different manipulation regions and directions even for the same object. According to this observation, we present a new dataset comprising fifteen thousand object-instruction-affordance triplets. All scenes in the dataset are from an egocentric viewpoint, designed to approximate the perspective of a human-like robot. Furthermore, we investigate how to enable large multimodal models (LMMs) to serve as affordance predictors by implementing a ``search against verifiers'' pipeline. An LMM is asked to progressively predict affordances, with the output at each step being verified by itself during the iterative process, imitating a reasoning process. Experiments show that our method not only unlocks new instruction-oriented affordance prediction capabilities, but also achieves outstanding performance broadly.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI