日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.21432

Hume:視覚-言語-行動モデルにシステム2思考を導入

Hume: Introducing System-2 Thinking in Visual-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

価値誘導型の熟考(システム2)と軽量な反応型ポリシー(システム1)を組み合わせた二重システムVLAモデルを提案し、器用なロボット制御を実現した。

詳しい要約

1. どんなもの?

- 本論文は、物理世界での複雑なタスクに対して人間の「slow thinking」をロボット基盤モデルに導入するHumeを提案する。 - Humeは、value-guided System-2 thinkingとcascaded action denoisingを備えたdual-system Vision-Language-Action (VLA) モデルである。 - System 2はvalue-query headを追加したVLA backboneで、予測行動のstate-action valueを推定し、複数の行動候補をサンプリングして選択する。 - System 1は軽量なreactive visuomotor policyで、System 2が選択した行動を受け取り、cascaded action denoisingを行ってdexterous robot controlを実現する。 - 展開時にはSystem 2が低頻度でvalue-guided thinkingを行い、System 1が非同期にそれを受けてリアルタイムに流暢な行動を予測する。

2. 先行研究と比べてどこがすごい?

- 既存のVLAモデルは主にSystem 1的な反応的制御に留まり、物理世界でのslow thinkingの可能性は未探索であった。 - HumeはLLMで成功したslow thinkingパラダイムをロボット基盤モデルに拡張し、value-guided System-2 thinkingを実現した点が新しい。 - 既存のstate-of-the-art VLAモデルと比較して、複数のシミュレーションベンチマークと実ロボット展開で優れた性能を示した。 - 低頻度のSystem 2と非同期のSystem 1を組み合わせることで、計算コストを抑えつつリアルタイム性を維持する点が先行研究との違いとして挙げられる。

3. 技術・手法の肝は?

- System 2はVLA backboneにvalue-query headを追加し、予測行動のstate-action valueを推定する。 - value-guided thinkingでは、複数の行動候補を繰り返しサンプリングし、state-action valueに基づいて最適な行動を選択する。 - System 1は軽量なreactive visuomotor policyであり、System 2が選択した行動を入力としてcascaded action denoisingを行い、dexterous robot controlのための流暢な行動を生成する。 - 展開時はSystem 2が低頻度で思考し、System 1が非同期に受信してリアルタイムに行動を予測するdual-systemアーキテクチャが肝である。

4. どうやって有効だと検証した?

- 複数のシミュレーションベンチマークと実ロボット展開において、Humeが既存のstate-of-the-art VLAモデルを上回る性能を示した。 - 具体的なベンチマーク名や実ロボットタスクの詳細は要旨からは不明。 - 有効性は、既存手法との比較を通じて検証されている。

5. 議論はある?

- 要旨からは、Humeの限界や議論の詳細は不明。 - 低頻度のSystem 2と非同期System 1の組み合わせによるリアルタイム性と計算コストのバランスについての議論が想定されるが、要旨では明示されていない。 - value-guided thinkingのサンプリング効率や、実ロボット展開での汎化性能に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてVision-Language-Action (VLA) モデル、Large Language Models (LLMs) におけるslow thinking、value-guided planning、cascaded action denoising、dual-systemアーキテクチャに関する論文が次に読むべき候補として挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoming Song, Delin Qu, Yuanqi Yao, Qizhi Chen, Qi Lv, Yiwen Tang, Modi Shi, Guanghui Ren, Maoqing Yao, Bin Zhao, Dong Wang, Xuelong Li

分類: cs.RO, cs.AI

原文アブストラクト

Humans practice slow thinking before performing actual actions when handling complex tasks in the physical world. This thinking paradigm, recently, has achieved remarkable advancement in boosting Large Language Models (LLMs) to solve complex tasks in digital domains. However, the potential of slow thinking remains largely unexplored for robotic foundation models interacting with the physical world. In this work, we propose Hume: a dual-system Vision-Language-Action (VLA) model with value-guided System-2 thinking and cascaded action denoising, exploring human-like thinking capabilities of Vision-Language-Action models for dexterous robot control. System 2 of Hume implements value-Guided thinking by extending a Vision-Language-Action Model backbone with a novel value-query head to estimate the state-action value of predicted actions. The value-guided thinking is conducted by repeat sampling multiple action candidates and selecting one according to state-action value. System 1 of Hume is a lightweight reactive visuomotor policy that takes System 2 selected action and performs cascaded action denoising for dexterous robot control. At deployment time, System 2 performs value-guided thinking at a low frequency while System 1 asynchronously receives the System 2 selected action candidate and predicts fluid actions in real time. We show that Hume outperforms the existing state-of-the-art Vision-Language-Action models across multiple simulation benchmark and real-robot deployments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI