日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.16815

ThinkAct: 強化学習された視覚潜在計画による視覚-言語-行動推論

ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルLLMで行動整合的な視覚報酬を用いて推論計画を生成し、それを視覚潜在に圧縮して行動モデルを条件付ける二重システムフレームワークを提案。複雑な身体性AIタスクでの少数ショット適応や長期計画、自己修正を実現した。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) reasoning タスク向けの新フレームワーク ThinkAct を提案 - 高レベル推論と低レベル行動実行を橋渡しする dual-system 構成 - multimodal LLM が embodied reasoning plans を生成し、それを visual plan latent に圧縮して下流の action model を条件付け - 対象は動的環境での長期的計画と適応的行動が求められる embodied AI タスク

2. 先行研究と比べてどこがすごい?

- 既存の VLA モデルは end-to-end で入力から直接 action へ写像し、明示的推論を欠く - そのため多段階計画や複雑なタスク変動への適応が困難という課題があった - ThinkAct は明示的な reasoning plan を介在させ、reinforced visual latent planning で計画と行動を整合させる点が新しい - few-shot adaptation、long-horizon planning、self-correction を可能にする点が先行研究との差分

3. 技術・手法の肝は?

- dual-system framework: 高レベル推論系と低レベル行動実行系を分離 - multimodal LLM が embodied reasoning plans を生成 - 報酬は action-aligned visual rewards で、goal completion と trajectory consistency に基づき強化学習的に計画を誘導 - 生成された reasoning plans を visual plan latent に圧縮し、下流 action model の条件付けに使用 - これにより目標環境での robust な action execution を実現

4. どうやって有効だと検証した?

- embodied reasoning ベンチマークと robot manipulation ベンチマークで広範な実験を実施 - 結果として few-shot adaptation、long-horizon planning、self-correction 挙動が複雑な embodied AI タスクで可能になることを示した - 具体的なベースライン比較や指標の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として visual plan latent の圧縮による情報損失、報酬設計の汎化性、dual-system 間の整合性などが考えられるが、要旨には明記されていない

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない - 関連手法として end-to-end VLA モデル、multimodal LLM を用いた embodied planning、visual latent planning、強化学習による行動整合報酬設計などの定番分野の論文を次に読むべき候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chi-Pin Huang, Yueh-Hua Wu, Min-Hung Chen, Yu-Chiang Frank Wang, Fu-En Yang

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Vision-language-action (VLA) reasoning tasks require agents to interpret multimodal instructions, perform long-horizon planning, and act adaptively in dynamic environments. Existing approaches typically train VLA models in an end-to-end fashion, directly mapping inputs to actions without explicit reasoning, which hinders their ability to plan over multiple steps or adapt to complex task variations. In this paper, we propose ThinkAct, a dual-system framework that bridges high-level reasoning with low-level action execution via reinforced visual latent planning. ThinkAct trains a multimodal LLM to generate embodied reasoning plans guided by reinforcing action-aligned visual rewards based on goal completion and trajectory consistency. These reasoning plans are compressed into a visual plan latent that conditions a downstream action model for robust action execution on target environments. Extensive experiments on embodied reasoning and robot manipulation benchmarks demonstrate that ThinkAct enables few-shot adaptation, long-horizon planning, and self-correction behaviors in complex embodied AI tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI