マニピュレーション2025/10/1arXiv:2510.01433

AFFORD2ACT: アフォーダンス誘導による汎用かつ軽量なロボットマニピュレーションのための自動キーポイント選択

AFFORD2ACT: Affordance-Guided Automatic Keypoint Selection for Generalizable and Lightweight Robotic Manipulation

テキストと画像からアフォーダンスを手がかりに最小限の意味的キーポイントを抽出し、38次元の軽量ポリシーで未知物体や背景変化に強いマニピュレーションを実現した。

詳しい要約

1. どんなもの？

- 視覚ベースのロボット学習のためのフレームワーク「AFFORD2ACT」を提案 - text prompt と単一画像から、意味的な2D keypoint を最小限抽出する - affordance を手がかりに keypoint を自動選択する - 出力はコンパクトな38次元の state policy - proprioception や dense representation を必要としない - 学習は15分で完了し、real-time 動作が可能 - 多様な実世界 manipulation タスクを対象とする

2. 先行研究と比べてどこがすごい？

- 従来の dense な画像/point-cloud 入力手法は計算負荷が高く、背景特徴が混入する - 既存の keypoint ベース手法は manipulation 中心の特徴に絞れ軽量だが、以下の制約があった - 手動の heuristic に依存 - タスクに結合した選択 - スケーラビリティと意味理解が制限される - AFFORD2ACT は affordance 誘導により keypoint 選択を自動化し、これらの制約を緩和 - 具体的な優位性の定量比較は要旨からは不明

3. 技術・手法の肝は？

- 3段階のパイプラインで構成 - affordance filtering - category-level keypoint construction - transformer-based policy learning with embedded gating - embedded gating により最も関連する keypoint を推論 - text prompt と単一画像から意味的な2D keypoint を蒸留 - 結果として38次元の state policy を生成 - proprioception 不要、dense representation 不要

4. どうやって有効だと検証した？

- 多様な実世界 manipulation タスクで評価 - 未見オブジェクト、新規カテゴリ、背景、distractor に対して82%の成功率を報告 - data efficiency の一貫した改善を主張 - 学習時間15分・real-time 動作を報告 - 具体的なタスク数・比較手法・被験者数など詳細は要旨からは不明

5. 議論はある？

- 要旨からは不明 - 失敗事例や限界、keypoint 選択の頑健性、text prompt 依存性への議論は明示されていない - 主張の範囲では、proprioception や dense representation なしで高い汎化性能を達成

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な研究名は記載なし - 関連手法として以下が想定される（一般名） - keypoint-based imitation learning - affordance-based robotic manipulation - transformer-based policy learning - vision-language models for affordance grounding

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anukriti Singh, Kasra Torshizi, Khuzema Habib, Kelin Yu, Ruohan Gao, Pratap Tokekar

分類: cs.RO, cs.AI

原文アブストラクト

Vision-based robot learning often relies on dense image or point-cloud inputs, which are computationally heavy and entangle irrelevant background features. Existing keypoint-based approaches can focus on manipulation-centric features and be lightweight, but either depend on manual heuristics or task-coupled selection, limiting scalability and semantic understanding. To address this, we propose AFFORD2ACT, an affordance-guided framework that distills a minimal set of semantic 2D keypoints from a text prompt and a single image. AFFORD2ACT follows a three-stage pipeline: affordance filtering, category-level keypoint construction, and transformer-based policy learning with embedded gating to reason about the most relevant keypoints, yielding a compact 38-dimensional state policy that can be trained in 15 minutes, which performs well in real-time without proprioception or dense representations. Across diverse real-world manipulation tasks, AFFORD2ACT consistently improves data efficiency, achieving an 82% success rate on unseen objects, novel categories, backgrounds, and distractors.

arXivで原文を読む →arXiv概要ページ

AFFORD2ACT: アフォーダンス誘導による汎用かつ軽量なロボットマニピュレーションのための自動キーポイント選択

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell