日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.15298

AgentThink:自動運転向け視覚言語モデルにおけるツール拡張型思考連鎖推論の統合フレームワーク

AgentThink: A Unified Framework for Tool-Augmented Chain-of-Thought Reasoning in Vision-Language Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けに、思考連鎖推論と動的なツール呼び出しを統合したフレームワークAgentThinkを提案し、DriveLMM-o1ベンチマークで推論スコアを53.91%向上させた。

詳しい要約

1. どんなもの?

- 自動運転向けの Vision-Language Models (VLMs) における推論フレームワーク - Chain-of-Thought (CoT) 推論と、動的な agent-style の tool invocation を統合した統合フレームワーク - 幻覚 (hallucination)、非効率な推論、実世界での検証不足という課題に対処することを狙う - 自動運転タスクにおける正確な知覚と堅牢な step-by-step reasoning の実現を目指す

2. 先行研究と比べてどこがすごい?

- 従来の VLMs は幻覚・非効率な推論・実世界検証の不足が課題 - AgentThink は CoT 推論に tool invocation を組み込む点が新しい - 構造化データ生成、二段階学習、agent-style 評価を統合した点が先行研究と異なる - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 中核は3点 - (i) Structured Data Generation: 自動運転ツールライブラリを構築し、tool usage を明示的に含む構造化・自己検証済み推論データを自動生成 - (ii) Two-stage Training Pipeline: Supervised Fine-Tuning (SFT) と Group Relative Policy Optimization (GRPO) を組み合わせ、自律的な tool invocation 能力を付与 - (iii) Agent-style Tool-Usage Evaluation: 複数ツールの評価プロトコルを導入し、tool invocation と utilization を厳密に評価

4. どうやって有効だと検証した?

- DriveLMM-o1 benchmark 上で実験 - 総合 reasoning score が 53.91% 向上 - answer accuracy が 33.54% 向上 - reasoning quality と consistency も顕著に改善 - ablation studies と、複数 benchmark での zero-shot/few-shot generalization 実験を実施

5. 議論はある?

- 信頼性が高く tool-aware な自動運転モデル開発への有望な方向性を示すと主張 - 幻覚・推論効率・実世界検証の課題に対する有効性を強調 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- DriveLMM-o1 benchmark に関する研究 - Group Relative Policy Optimization (GRPO) 関連研究 - Supervised Fine-Tuning (SFT) を用いた VLM 推論研究 - Chain-of-Thought (CoT) reasoning と tool-augmented VLM の関連手法 - 自動運転向け VLM の hallucination 対策研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kangan Qian, Sicong Jiang, Yang Zhong, Ziang Luo, Zilin Huang, Tianze Zhu, Kun Jiang, Mengmeng Yang, Zheng Fu, Jinyu Miao, Yining Shi, He Zhe Lim, Li Liu, Tianbao Zhou, Huang Yu, Yifei Hu, Guang Li, Guang Chen, Hao Ye, Lijun Sun, Diange Yang

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Vision-Language Models (VLMs) show promise for autonomous driving, yet their struggle with hallucinations, inefficient reasoning, and limited real-world validation hinders accurate perception and robust step-by-step reasoning. To overcome this, we introduce \textbf{AgentThink}, a pioneering unified framework that integrates Chain-of-Thought (CoT) reasoning with dynamic, agent-style tool invocation for autonomous driving tasks. AgentThink's core innovations include: \textbf{(i) Structured Data Generation}, which establishes an autonomous driving tool library to automatically construct structured, self-verified reasoning data explicitly incorporating tool usage for diverse driving scenarios; \textbf{(ii) A Two-stage Training Pipeline}, employing Supervised Fine-Tuning (SFT) with Group Relative Policy Optimization (GRPO) to equip VLMs with the capability for autonomous tool invocation; and \textbf{(iii) Agent-style Tool-Usage Evaluation}, introducing a novel multi-tool assessment protocol to rigorously evaluate the model's tool invocation and utilization. Experiments on the DriveLMM-o1 benchmark demonstrate that AgentThink significantly boosts overall reasoning scores by \textbf{53.91%} and enhances answer accuracy by \textbf{33.54%}, while markedly improving reasoning quality and consistency. Furthermore, ablation studies and robust zero-shot/few-shot generalization experiments across various benchmarks underscore its powerful capabilities. These findings highlight a promising trajectory for developing trustworthy and tool-aware autonomous driving models. Code is available at https://github.com/curryqka/AgentThink.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI