日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.28225

FaithEyes: マルチエージェントによるプロセス画像検証を用いた忠実なツール使用に向けて

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

シェア:XThreadsFacebookLINEはてブBluesky

エージェント型視覚言語モデルがツールを不誠実に使う問題を解決するため、プロセス画像の有用性を自己判定するマルチエージェントフレームワークを提案した。

詳しい要約

1. どんなもの?

FaithEyesは、Agentic vision-language models (VLMs)におけるツール使用の忠実性を高めるためのマルチエージェント自己判定フレームワークである。エージェントが画像のクロップやコードベースの操作などのツールを呼び出す際、そのプロセス画像が質問に本当に役立つかどうかをVLMで判定し、その判定をツール観測の一部として推論コンテキストに注入する。さらに、有用なツールの割合に基づいてツール報酬をスケーリングし、報酬ハッキングを抑制する。推論時には外部モデルに依存せず、モデル自身がサブエージェントとしてツール呼び出しを判定する。

2. 先行研究と比べてどこがすごい?

先行研究では、ツール呼び出しが無関係な画像を生成しても、最終的な回答が正しければ報酬が与えられ、ツールの忠実性が評価されなかった。また、ツールフィードバックに有用性のシグナルが含まれていなかった。FaithEyesは、プロセス画像の有用性を明示的に判定し、それを報酬と推論の両方に組み込むことで、これらの限界を克服している。さらに、外部モデルを使わずに自己判定するマルチエージェント設計により、学習時と評価時の一貫性を保証している点が新しい。

3. 技術・手法の肝は?

手法の核心は、マルチエージェント自己判定フレームワークである。メインエージェントがツール呼び出しを行い、そのプロセス画像をサブエージェント(同じモデル)が判定する。判定結果は「helpful」か「unhelpful」のラベルとしてツール観測に追加され、後続の推論に利用される。また、報酬はhelpful-tool ratio(有用なツールの割合)でスケーリングされ、報酬ハッキングを防ぐ。学習は2段階で、まずSFTで適応させたオープンソースデータで初期化し、その後RLで微調整する。

4. どうやって有効だと検証した?

視覚知覚と推論のベンチマーク(具体的なデータセット名は要旨に記載なし)で、競争力のあるまたは優れた精度を達成し、ツール忠実性を著しく改善したことを示した。比較対象や具体的な評価指標は要旨からは不明だが、既存手法との比較が行われたと推測される。

5. 議論はある?

要旨からは、ツール忠実性の向上が精度に与える影響や、自己判定の信頼性、マルチエージェントの計算コストなどについての議論は明示されていない。また、提案手法が特定のタスクやモデルに依存する可能性や、一般化の限界についても言及がない。

6. 次に読むべき論文は?

要旨で参照されている研究は、Agentic VLMsのツール使用の不忠実性を指摘した最近の研究(具体的な論文名は不明)と、ツール報酬とフィードバックの限界に関する研究である。次に読むべき論文としては、これらの関連研究に加え、VLMのツール使用に関する一般的な研究(例: Toolformer, Visual ChatGPT)や、報酬ハッキング対策の手法(例: Reward hacking in RL)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

分類: cs.CV

原文アブストラクト

Agentic vision-language models (VLMs), which interleave textual reasoning with explicit tool calls such as cropping and code-based image manipulation, have emerged as a compelling paradigm for reliable and interpretable multimodal reasoning. However, recent studies have revealed that such models often use tools unfaithfully. Many process images are irrelevant to the question (e.g., the tool crops the wrong region or misses the queried target), yet the call still receives full credit and the model still answers correctly. Such decorative or misaligned tool calls waste computation and reveal that the model leans on prior knowledge or the original image rather than the evidence it retrieves. This may stem from two limitations of prevailing methods: the tool reward fails to distinguish useful from useless calls, and tool feedback carries no signal of usefulness. To this end, we introduce FaithEyes, a multi-agent self-judging framework. Concretely, we use a VLM to judge whether each process image helps answer the question. The judgement is injected into the reasoning context as part of the tool observation to help subsequent reasoning, and meanwhile is used to scale the tool reward by the helpful-tool ratio to suppress reward hacking. To keep judgement available at evaluation and thus ensure train-test consistency, we further design a multi-agent framework where the model itself serves as a subagent to judge the tool calls from main agent, eliminating any dependence on an external model at inference. Training via a two-stage SFT + RL pipeline on adapted open-source data, FaithEyes attains competitive or superior accuracy across visual perception and reasoning benchmarks, while markedly improving tool faithfulness. The homepage is at https://github.com/Mosi-AI/FaithEyes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI