自己中心視点での指示に基づくアフォーダンス予測:大規模マルチモーダルモデルによるアプローチ
Egocentric Instruction-oriented Affordance Prediction via Large Multimodal Model
指示に依存するアフォーダンス予測のための自己中心視点データセットを構築し、大規模マルチモーダルモデルに「検証者に対する探索」パイプラインを適用して予測能力を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Bokai Ji, Jie Gu, Xiaokang Ma, Chu Tang, Jingmin Chen, Guangxia Li
分類: cs.RO, cs.CV
原文アブストラクト
Affordance is crucial for intelligent robots in the context of object manipulation. In this paper, we argue that affordance should be task-/instruction-dependent, which is overlooked by many previous works. That is, different instructions can lead to different manipulation regions and directions even for the same object. According to this observation, we present a new dataset comprising fifteen thousand object-instruction-affordance triplets. All scenes in the dataset are from an egocentric viewpoint, designed to approximate the perspective of a human-like robot. Furthermore, we investigate how to enable large multimodal models (LMMs) to serve as affordance predictors by implementing a ``search against verifiers'' pipeline. An LMM is asked to progressively predict affordances, with the output at each step being verified by itself during the iterative process, imitating a reasoning process. Experiments show that our method not only unlocks new instruction-oriented affordance prediction capabilities, but also achieves outstanding performance broadly.
関連論文
- 再現可能なマルチモーダル・アフォーダンス予測アフォーダンス予測
- RAAP: クロスイメージ行動アライメントを用いた検索拡張アフォーダンス予測アフォーダンス予測
