日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.03784

汎用ロボット操作のための身体化チェーン・オブ・ソートの再考

Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模な身体化CoTデータセットを構築し、VLAモデルにおける効果的なCoTの形式と統合方法を検証。推論をテスト時に使わず表現整形の教師信号として用いるERVLAを提案し、高い汎化性能を達成した。

詳しい要約

1. どんなもの?

- 本論文は、vision-language-action (VLA) モデルにおける embodied chain-of-thought (CoT) を大規模に再検討した研究。 - 最大規模の embodied CoT コーパスを構築:978,743 trajectories、226.3M samples、2592.5 hours の robot data。 - 有効な embodied CoT は高レベル意味理解を end-effector movement descriptions や image-space trajectories などの具体的行動ガイダンスに接地させるべきと発見。 - 高レベル推論のみでは限界的な利得しか得られない。 - 明示的 CoT を autoregressive action prefix として使うと、compounding inference errors と不安定な reasoning-action coupling によりスケールしないことを示す。 - 提案手法 ERVLA は embodied CoT を representation-sh…

2. 先行研究と比べてどこがすごい?

- 従来の embodied CoT 研究と比べ、最大規模のコーパス(978,743 trajectories、226.3M samples、2592.5 hours)を構築し大規模に再検討。 - 高レベル推論のみの CoT は限界的利得しかないことを実験的に示し、具体的行動ガイダンスへの接地の重要性を明らかにした。 - 明示的 CoT を autoregressive action prefix として使う従来手法の限界(compounding inference errors、不安定な reasoning-action coupling)を指摘。 - ERVLA は CoT を representation-shaping supervision として活用し、推論時に CoT デコードを不要にすることで、スケーラビリティと安定性を改善。 - LIBERO-Plus で 86.9% の成功率、VLABench で 53.2% の成功率を達成し、out-of-distribution generalization で state-of-the-art。 - 実ロボット実験でも競合する…

3. 技術・手法の肝は?

- 最大規模の embodied CoT コーパスを構築し、VLA モデルの学習に利用。 - 有効な embodied CoT の形式として、end-effector movement descriptions や image-space trajectories など、高レベル意味理解を具体的行動ガイダンスに接地させることを特定。 - ERVLA は embodied CoT を representation-shaping supervision として使用。 - reasoning-dropout strategy で訓練し、訓練中は豊富な reasoning traces を吸収しつつ、推論時は CoT デコードなしで直接行動を予測。 - これにより、pre-training data の増加に伴うスケーラビリティを向上させ、autoregressive instability を回避。

4. どうやって有効だと検証した?

- LIBERO-Plus で 86.9% の成功率を達成し、state-of-the-art 性能を確認。 - VLABench で 53.2% の成功率を達成し、強い out-of-distribution generalization を示す。 - 実ロボット実験で競合する state-of-the-art ベースラインを上回り、特に semantic disambiguation と long-horizon execution を要するタスクで優位性を検証。 - 大規模コーパス(978,743 trajectories、226.3M samples、2592.5 hours)を用いた広範な実験により、有効な embodied CoT の形式と統合戦略を検証。

5. 議論はある?

- 明示的 CoT を autoregressive action prefix として使うと、compounding inference errors と不安定な reasoning-action coupling により、スケールが信頼できないことを議論。 - 高レベル推論のみの CoT は限界的な利得しかもたらさないことを指摘。 - 有効な embodied CoT は具体的行動ガイダンスへの接地が必要であると議論。 - ERVLA の reasoning-dropout strategy により、推論時の CoT デコードを不要にし、autoregressive instability を回避できることを示す。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は明記されていない。 - 関連手法として、vision-language-action (VLA) モデル、embodied chain-of-thought (CoT)、autoregressive action prefix を用いる手法、representation-shaping supervision が挙げられる。 - 同分野の定番として、RT-1、RT-2、OpenVLA などの VLA モデルや、LIBERO、VLABench などのベンチマークに関連する論文を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

分類: cs.RO

原文アブストラクト

Embodied chain-of-thought (CoT) aims to bridge linguistic reasoning and robotic control, but its effective form and integration strategy remain underexplored. In this paper, we revisit embodied CoT for vision-language-action (VLA) models at large scale. We construct the largest embodied CoT corpus to date, comprising 978,743 trajectories, 226.3M samples, and 2592.5 hours of robot data. Through extensive experiments, we find that effective embodied CoT should ground high-level semantic understanding into concrete action guidance, such as end-effector movement descriptions and image-space trajectories, while high-level reasoning alone brings only marginal gains. We further show that explicit CoT does not scale reliably when used as an autoregressive action prefix, as it suffers from compounding inference errors and unstable reasoning-action coupling. To address these limitations, we propose ERVLA, a VLA model that uses embodied CoT as representation-shaping supervision rather than mandatory test-time reasoning. ERVLA is trained with a reasoning-dropout strategy, enabling the model to absorb rich reasoning traces during training while predicting actions directly without CoT decoding during inference. This design improves scalability with increasing pre-training data and avoids autoregressive instability. ERVLA achieves state-of-the-art performance on LIBERO-Plus with an 86.9% success rate and reaches 53.2% success rate on VLABench, demonstrating strong out-of-distribution generalization. In real-robot experiments, ERVLA further outperforms competitive state-of-the-art baselines, especially on tasks requiring semantic disambiguation and long-horizon execution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI