日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.33044

EKT-Router: 実世界視覚言語モデルのための専門家と証拠の統合ルーティング

EKT-Router: Expert-Evidence Alignment for Embodied Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

限られた観測から質問に答える実世界視覚言語モデル向けに、能力専門家・知識・知覚ツールを呼び出し予算内で同時選択するルーティング手法を提案し、6つの実世界QAベンチマークで最高性能を達成した。

詳しい要約

1. どんなもの?

- 部分的・逐次更新される観測から質問に答える Embodied Vision-Language Model 向けの枠組み - 能力 expert、任意の knowledge、知覚 tool を同時に選択する bounded framework - 6 つの embodied QA benchmark と 10 の general vision-language benchmark で評価

2. 先行研究と比べてどこがすごい?

- expert router は内部計算を適応させ、tool-augmented system は外部 evidence を獲得するが、両者を独立に選ぶと適切な expert に必要な evidence が欠ける問題がある - EKT-Router は expert と evidence を joint に選択し、この不整合を緩和 - 6 つの embodied QA benchmark で平均 61.4 と比較システム中最高、10 の general benchmark で平均 74.7

3. 技術・手法の肝は?

- outcome-derived signature で General・Spatial Reasoning・Spatiotemporal の expert の重複する強みを表現 - call budget の下で joint utility が expert-evidence route 全体をスコアリング - 獲得後に packet verifier が expert-conditioned gain が正と予測される evidence のみを受理 - 選択 expert は一度だけ回答し、全 packet が拒否された場合は元の観測に戻る

4. どうやって有効だと検証した?

- 6 つの embodied QA benchmark と 10 の general vision-language benchmark で比較評価 - 外部 evidence を全て無効化した条件で、question-conditioned expert selection 単独が最良固定 expert を 1.75 点上回る - ablation で learned routing が支配的要素、knowledge と perception が相補的であることを示す

5. 議論はある?

- ablation から learned routing が主要因、knowledge と perception は相補的と報告 - call budget 下での bounded な設計や packet verifier の拒否時の挙動が枠組みの特徴 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は?

- General・Spatial Reasoning・Spatiotemporal expert を用いる expert routing 関連研究 - tool-augmented / knowledge-augmented な embodied vision-language システム - packet verifier や evidence 選択の検証手法に関する研究 - 要旨で個別論文名の参照は無いため、上記は関連手法カテゴリとして挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weilin Ruan, Yingjie Xu, Yangkai Wei, Bohan Zhou, Shuaibo Li, Harold Haodong Chen, Kaiwen Zhou, Yinchuan Li, Ying-Cong Chen, James Cheng

分類: cs.CV

原文アブストラクト

Embodied vision-language models must answer questions from partial, evolving observations. Their success depends on both the reasoning capability selected and the evidence available to it. Expert routers adapt internal computation, while tool-augmented systems acquire external evidence; choosing these independently can leave a suitable expert without the evidence it needs. We introduce EKT-Router, a bounded framework that jointly selects a capability expert, optional knowledge, and perceptual tools. Outcome-derived signatures represent the overlapping strengths of General, Spatial Reasoning, and Spatiotemporal experts. A joint utility scores complete expert-evidence routes under a call budget. After acquisition, a packet verifier admits valid evidence with positive predicted expert-conditioned gain. The selected expert then answers once, reverting to the unchanged observation if all packets are rejected. Across 6 embodied QA benchmarks, EKT-Router achieves a mean score of 61.4, the highest among the compared systems, and averages 74.7 on 10 general vision-language benchmarks. With all external evidence disabled, question-conditioned expert selection alone improves over the best fixed expert by 1.75 points. Ablations show that learned routing is the dominant component and that knowledge and perception are complementary.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI