日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

基盤技術arXiv:2603.11101

AIネイティブクラウド具身知能基盤のための千GPU大規模訓練と最適化レシピ

Thousand-GPU Large-Scale Training and Optimization Recipe for AI-Native Cloud Embodied Intelligence Infrastructure

シェア:XThreadsFacebookLINEはてブBluesky

具身知能の大規模訓練を実現するため、クラウド上に千GPU分散訓練プラットフォームを構築し、データパイプラインやモデル最適化、インフラ連携により訓練時間を40倍短縮した。

詳しい要約

1. どんなもの?

- 産業界初のクラウドベース千GPU分散学習プラットフォームを構築 - 具現化知能(Embodied Intelligence)向けのAIネイティブクラウド基盤 - LeRobotフレームワークを基盤に採用 - データ、フレームワーク、インフラ、評価システムの課題を解決 - GR00T-N1.5モデルを対象に、数億規模データで訓練 - 単一ラウンド訓練時間を15時間から22分に短縮(40倍高速化)

2. 先行研究と比べてどこがすごい?

- 従来の具現化知能開発はデータ、フレームワーク、インフラ、評価の各層でボトルネック - 産業界初の千GPUクラウド分散訓練プラットフォームを実現 - 従来のサンプル冗長性からシーケンス統合へ移行し188%の速度向上 - π-0.5 attention最適化で165%高速化、FP8量子化で140%高速化 - データ・ストレージ・通信・計算の深いシナジーを実現

3. 技術・手法の肝は?

- データ層:データパイプラインを再構築し、具現化訓練データのフローを最適化 - 訓練:千GPUクラスタと数億規模データを活用 - モデル層:可変長FlashAttentionとData Packingを組み合わせ - π-0.5 attention最適化を適用 - FP8量子化を導入 - インフラ:高性能ストレージ、3.2T RDMAネットワーク、Ray駆動の弾力的AIデータレイク - 評価:訓練からシミュレーション、評価までのエンドツーエンド評価システムを構築

4. どうやって有効だと検証した?

- 千GPUクラスタ上でフレームワークを完全に検証 - GR00T-N1.5モデルで単一ラウンド訓練時間を15時間から22分に短縮 - 可変長FlashAttentionとData Packingで188%の速度向上を確認 - π-0.5 attention最適化で165%高速化を確認 - FP8量子化で140%高速化を確認 - 訓練からシミュレーション、評価までの閉ループを構築し検証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- LeRobotフレームワーク - GR00T-N1.5モデル - π-0.5 attention - FlashAttention - Data Packing - FP8量子化 - Ray - RDMAネットワーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yongjian Guo, Yunxuan Ma, Haoran Sun, Zhong Guan, Shuai Di, Jing Long, Wanting Xu, Xiaodong Bai, Wen Huang, Yucheng Guo, Chen Zhou, Qiming Yang, Mingxi Luo, Tianyun Zhao, Hedan Yang, Song Wang, Xiaomeng Tian, Xiaolong Xiang, Zhen Sun, Yu Wei, Luqiao Wang, Yuzhen Li, Chenfeng Gu, Junwu Xiong, Yicheng Gong

分類: cs.RO, cs.AI, cs.DC

原文アブストラクト

Embodied intelligence is a key step towards Artificial General Intelligence (AGI), yet its development faces multiple challenges including data, frameworks, infrastructure, and evaluation systems. To address these issues, we have, for the first time in the industry, launched a cloud-based, thousand-GPU distributed training platform for embodied intelligence, built upon the widely adopted LeRobot framework, and have systematically overcome bottlenecks across the entire pipeline. At the data layer, we have restructured the data pipeline to optimize the flow of embodied training data. In terms of training, for the GR00T-N1.5 model, utilizing thousand-GPU clusters and data at the scale of hundreds of millions, the single-round training time has been reduced from 15 hours to just 22 minutes, achieving a 40-fold speedup. At the model layer, by combining variable-length FlashAttention and Data Packing, we have moved from sample redundancy to sequence integration, resulting in a 188% speed increase; {\pi}-0.5 attention optimization has accelerated training by 165%; and FP8 quantization has delivered a 140% speedup. On the infrastructure side, relying on high-performance storage, a 3.2T RDMA network, and a Ray-driven elastic AI data lake, we have achieved deep synergy among data, storage, communication, and computation. We have also built an end-to-end evaluation system, creating a closed loop from training to simulation to assessment. This framework has already been fully validated on thousand-GPU clusters, laying a crucial technical foundation for the development and application of next-generation autonomous intelligent robots, and is expected to accelerate the arrival of the era of human-machine integration.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI