日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.23678

AIR: MLLMにおけるコードを用いた適応的インターリーブ推論

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルに、コードを介した数値計算タスクの適応的推論能力を強化学習で付与する手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、MLLMs(Multimodal Large Language Models)に対して、コードを活用した適応的なinterleaved reasoning(交互推論)能力を付与する手法「AIR」を提案する。 - 従来のinterleaved reasoningは視覚知覚タスクにおけるtool-useに焦点を当てていたが、本手法はコード拡張された複雑な数値計算タスクに取り組む。 - 強化学習(RL)を用いて、MLLMsが数値計算問題を解決するためにコードを適応的に呼び出すことを可能にする。

2. 先行研究と比べてどこがすごい?

- 既存研究は視覚操作に限定され、事前定義されたヒューリスティクスに依存し、数値計算問題に対処できない。 - 本手法は、コード拡張された複雑な数値計算タスクにRLを適用し、適応的なinterleaved reasoningを実現する点で新規。 - グループ制約付き報酬関数を導入し、interleaved reasoning軌跡におけるtool-invocationを適応的に制御する。

3. 技術・手法の肝は?

- 三つの構成要素からなる包括的ソリューション: - 二段階のcold-startデータ構築パイプライン - RLデータセットキュレーションのためのデータフィルタリング戦略 - グループ制約付き報酬関数を活用した適応的tool-invocation戦略 - これらにより、MLLMsがコードを交互に推論に組み込む能力を強化学習で獲得する。

4. どうやって有効だと検証した?

- 広範な実験により、グループ制約付き報酬関数を用いたRL訓練後、評価ベンチマークで平均6.1パーセントポイント(pp)の性能向上を確認。 - 特にinterleaved reasoningサンプルの精度は9.9 pp向上し、tool-useの全体的な成功率は95%を超えた。 - データとコードはGitHubで公開されている。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - 実験結果は性能向上を示すが、他のタスクへの汎化性や計算コストなどについては言及されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:OpenAI o3(interleaved reasoning with codeのパラダイムシフトを開始)。 - 関連手法:tool-use within vision-perception tasks(視覚知覚タスクにおけるツール使用)。 - 同分野の定番:MLLMs、Reinforcement Learning、interleaved reasoning、code-augmented numerical computation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

分類: cs.CV, cs.AI

原文アブストラクト

Following the paradigm shift initiated by OpenAI o3, interleaved reasoning with code to enhance multimodal large language models (MLLMs) has become a pivotal research frontier. The existing literature focuses primarily on tool-use within vision-perception tasks. However, such approaches typically rely on predefined heuristics for visual manipulation and are inherently incapable of addressing numerical computation problems due to their exclusive focus on visual operations. This paper empowers MLLMs with adaptive interleaved reasoning capabilities through extended reinforcement learning training on code-augmented complex numerical computation tasks. To this end, we propose a comprehensive three-component solution consisting of: a two-stage cold-start data construction pipeline, data filtering strategies for RL dataset curation, and an adaptive tool-invocation strategy leveraging a group-constrained reward function for interleaved reasoning trajectories. Extensive experiments demonstrate that after Reinforcement Learning training with the group-constrained reward function, performance improves by an average of 6.1 percentage points (pp) on evaluation benchmarks. Specifically, the accuracy for interleaved reasoning samples increases by 9.9 pp, and the overall success rate of tool-use exceeds 95%. Our data and code are available at: https://github.com/CongHan0808/AIR.git.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI