日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚ポインティングarXiv:2606.29850

具現化AIのための効率的視覚ポインティング:エージェント駆動データ合成、クロスブロック注意、反復補正

Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction

シェア:XThreadsFacebookLINEはてブBluesky

言語指示からピクセル座標を推定する視覚ポインティングの精度向上を目指し、データ合成とモデル改良を組み合わせてPointArena 2026で77.2%の精度を達成した。

詳しい要約

1. どんなもの?

本論文は、embodied AI のための visual pointing(言語指示を pixel 座標に写像する中核技能)を対象とした PointArena 2026 の解法を述べる。全体精度 77.2% で benchmark 2 位。3 つの失敗モードに対処する。 - agent-driven synthesis により semantic および anchor-relative な候補プールを大規模構築 - サーバ在庫は 55,372 processed outputs、53,772 de-duplicated sample IDs、37,574 trainable completed/accepted rows - deterministic steerable-data pipeline で masks・templates・path verification を用い、検証済み 10,000-sample main set と reserve samples を作成 - モデル側は AttnRes(gated cross-block attention)と ABC correc…

2. 先行研究と比べてどこがすごい?

要旨からは、先行研究との具体的な比較や優位性の定量的対比は明記されていない。 - 全体精度 77.2% で benchmark 2 位という結果が示されるのみ - 3 つの失敗モード(データ合成、データ検証、モデル側の座標接地)に個別に対処する点が特徴として記述 - 先行研究名やベースラインとの差分は要旨からは不明

3. 技術・手法の肝は?

技術の肝は、データ生成とモデル改善の 3 本柱。 - agent-driven synthesis で semantic および anchor-relative な候補プールを大規模に構築 - deterministic steerable-data pipeline が masks・templates・path verification を用いて検証済み 10,000-sample main set と reserve samples を生成 - AttnRes は gated cross-block attention を追加し steerability を向上 - ABC correction は perturbed coordinates を visual features と共に符号化し、一般的な coordinate grounding を実現 - category-aware routing が補完的 specialist を統合

4. どうやって有効だと検証した?

local validation を用いて expert を選択し、カテゴリ別精度を記録。 - Affordance 93.9% - Spatial Relation 82.6% - Reasoning 78.2% - Counting 70.4% - Steerability 63.0% - 全体精度 77.2% で benchmark 2 位 - 検証方法の詳細(データ分割や評価プロトコル)は要旨からは不明

5. 議論はある?

要旨からは、限界や議論の詳細は明記されていない。 - 3 つの失敗モードへの対処とカテゴリ別精度が報告される - Steerability が 63.0% と他カテゴリより低く、課題として残る可能性 - 議論やアブレーション、エラー分析の有無は要旨からは不明

6. 次に読むべき論文は?

要旨で参照・比較されている研究は明記されていない。 - 関連手法として visual pointing、embodied AI、cross-block attention、coordinate grounding の一般的な文献が挙げられる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Hong, Qi Lv, Yuxiang Xie, Jianming Xing, Xiang Deng, Weili Guan, Liqiang Nie

分類: cs.CV

原文アブストラクト

Visual pointing maps a language instruction to pixel co ordinates, a core skill for embodied AI. We describe our PointArena 2026 solution, which achieves 77.2% overall accuracy and ranks second on the benchmark. The ap proach targets three failure modes. First, agent-driven syn thesis builds large semantic and anchor-relative candidate pools; the server inventory contains 55,372 processed out puts, 53,772 de-duplicated sample IDs, and 37,574 train able completed or accepted rows. Second, a determinis tic steerable-data pipeline creates a verified 10,000-sample main set, plus reserve samples, using masks, templates, and path verification. Third, two model-side modules address complementary errors: AttnRes adds gated cross-block at tention for steerability, while ABC correction encodes per turbed coordinates with visual features for general coordi nate grounding. Category-aware routing combines comple mentary specialists; local validation used to select experts records 93.9% Affordance, 82.6% Spatial Relation, 78.2% Reasoning, 70.4% Counting, and 63.0% Steerability.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI