日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス接地arXiv:2605.00663

アフォーダンスエージェントハーネス:検証ゲートによるスキルオーケストレーション

Affordance Agent Harness: Verification-Gated Skill Orchestration

シェア:XThreadsFacebookLINEはてブBluesky

オープンワールドでのアフォーダンス接地を改善するため、検証ゲート付きのクローズドループランタイムを提案し、適応的なスキル選択とエビデンス蓄積により精度とコストのトレードオフを向上させた。

詳しい要約

1. どんなもの?

- オープンワールドの affordance grounding を対象にした closed-loop runtime『Affordance Agent Harness』を提案。 - 複数の heterogeneous skills(detection, segmentation, interaction-imagination 等)を evidence store と cost control で統合。 - episodic memory を検索し recurring categories の prior を提供、Router が skill を適応的に選択・parameterize。 - affordance-specific Verifier が self-consistency, cross-scale stability, evidence sufficiency で commitment を gate。 - 最終 judge が蓄積 evidence と trajectories を統合して予測。

2. 先行研究と比べてどこがすごい?

- 従来は複数 skill を固定 pipeline で orchestrate し、per-instance difficulty に合わず、中間エラーからの targeted recovery が限定的、recurring objects の経験再利用ができない。 - 提案は test-time grounding を systems problem として捉え、適切な evidence の獲得・信頼性判断・bounded inference cost 下での commitment を扱う。 - 複数 affordance benchmarks と difficulty-controlled subsets で、固定 pipeline baseline より強い accuracy-cost Pareto frontier を示す。 - 平均 skill calls と latency を削減しつつ grounding 品質を改善。

3. 技術・手法の肝は?

- closed-loop runtime で heterogeneous skills を evidence store と cost control により統合。 - episodic memories を検索し recurring categories の prior を提供。 - Router が skill を適応的に選択・parameterize。 - affordance-specific Verifier が self-consistency, cross-scale stability, evidence sufficiency で commitment を gate し、targeted retries を発火。 - 最終 judge が蓄積 evidence と trajectories を融合して予測。

4. どうやって有効だと検証した?

- 複数の affordance benchmarks と difficulty-controlled subsets で実験。 - 固定 pipeline baseline と比較し、accuracy-cost Pareto frontier がより強いことを示す。 - grounding 品質の改善と平均 skill calls・latency の削減を報告。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として detection, segmentation, interaction-imagination などの affordance grounding 向け skill が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haojian Huang, Jiahao Shi, Yinchuan Li, Yingcong Chen

分類: cs.RO, cs.CV

原文アブストラクト

Affordance grounding requires identifying where and how an agent should interact in open-world scenes, where actionable regions are often small, occluded, reflective, and visually ambiguous. Recent systems therefore combine multiple skills (e.g., detection, segmentation, interaction-imagination), yet most orchestrate them with fixed pipelines that are poorly matched to per-instance difficulty, offer limited targeted recovery from intermediate errors, and fail to reuse experience from recurring objects. These failures expose a systems problem: test-time grounding must acquire the right evidence, decide whether that evidence is reliable enough to commit, and do so under bounded inference cost without access to labels. We propose Affordance Agent Harness, a closed-loop runtime that unifies heterogeneous skills with an evidence store and cost control, retrieves episodic memories to provide priors for recurring categories, and employs a Router to adaptively select and parameterize skills. An affordance-specific Verifier then gates commitments using self-consistency, cross-scale stability, and evidence sufficiency, triggering targeted retries before a final judge fuses accumulated evidence and trajectories into the prediction. Experiments on multiple affordance benchmarks and difficulty-controlled subsets show a stronger accuracy-cost Pareto frontier than fixed-pipeline baselines, improving grounding quality while reducing average skill calls and latency. Project page: https://tenplusgood.github.io/a-harness-page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI