日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.00600

Vision-Language-Actionモデルのためのハイブリッド訓練

Hybrid Training for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

思考連鎖(CoT)を学習しつつ推論時には省略可能にするハイブリッド訓練(HyT)を提案し、ロボット操作の性能を保ちながら推論速度を改善した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action models (VLAs) のための Hybrid Training (HyT) フレームワークを提案する。 - HyT は、Chain-of-thought (CoT) から学習しつつ、推論時には CoT 生成を省略できるようにする。 - また、推論時に柔軟性を持たせ、直接行動を予測するか、思考を生成するか、指示に従うかを選択できる。 - シミュレーションベンチマークと実世界実験で評価する。

2. 先行研究と比べてどこがすごい?

- 従来の embodied CoT 戦略では、VLAs が思考を生成してから行動するため、出力長が増加し推論時間が悪化する問題があった。 - HyT は、思考から学習して性能向上の利点を得ながら、推論時に CoT 生成を省略できる点が優れている。 - さらに、条件付きで多様な出力を予測することを学習し、推論時の柔軟性を実現する。

3. 技術・手法の肝は?

- HyT は、VLAs が思考と行動の両方から学習するハイブリッドトレーニングを可能にする。 - モデルは条件付きで多様な出力(直接行動、思考生成、指示追従)を予測するように学習する。 - これにより、推論時に CoT 生成を省略するオプションを提供する。

4. どうやって有効だと検証した?

- 提案手法を一連のシミュレーションベンチマークと実世界実験で評価した。 - 具体的な評価指標や結果の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として embodied Chain-of-thought (CoT) や Vision-Language-Action models (VLAs) が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Using Large Language Models to produce intermediate thoughts, a.k.a. Chain-of-thought (CoT), before providing an answer has been a successful recipe for solving complex language tasks. In robotics, similar embodied CoT strategies, generating thoughts before actions, have also been shown to lead to improved performance when using Vision-Language-Action models (VLAs). As these techniques increase the length of the model's generated outputs to include the thoughts, the inference time is negatively affected. Delaying an agent's actions in real-world executions, as in robotic manipulation settings, strongly affects the usability of a method, as tasks require long sequences of actions. However, is the generation of long chains-of-thought a strong prerequisite for achieving performance improvements? In this work, we explore the idea of Hybrid Training (HyT), a framework that enables VLAs to learn from thoughts and benefit from the associated performance gains, while enabling the possibility to leave out CoT generation during inference. Furthermore, by learning to conditionally predict a diverse set of outputs, HyT supports flexibility at inference time, enabling the model to either predict actions directly, generate thoughts or follow instructions. We evaluate the proposed method in a series of simulated benchmarks and real-world experiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI