日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作/sim2realarXiv:2607.22997

実世界からシミュレーションへ、そして再び実世界へ:AMD ROCmベースの視覚言語行動操作パイプライン

Real2Sim2Real for Vision-Language-Action Manipulation: An AMD ROCm-Based Pipeline

シェア:XThreadsFacebookLINEはてブBluesky

AMDのROCmソフトウェアスタックのみを用いて、視覚言語行動(VLA)モデルの訓練から実機のFrankaアームへの展開までを一貫して行うパイプラインを構築し、CUDA非依存で物理AI操作が可能であることを示した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルを用いた実世界操作のための、AMD ROCm ベースのエンドツーエンド技術スタックを提案する。データセンター向けトレーニングGPU、Radeon PRO シミュレーション/レンダリングGPU、Ryzen AI エッジコンピュートをROCmソフトウェアスタックで統合し、CUDAに依存しないVLAポリシーのトレーニングとデプロイを実証する。4つのデモンストレーション(Sim-to-Real操作、言語接地オブジェクト選択、Real2Sim合成データ生成、大規模強化学習)をAMDハードウェア上で実行する。

2. 先行研究と比べてどこがすごい?

先行研究では、VLAモデルのトレーニングとデプロイはCUDAエコシステムに強く依存しており、NVIDIA GPUが必須とされていた。本論文は、AMD ROCmベースのオープンなソフトウェアスタックを用いて、VLA操作パイプライン全体をAMDハードウェア上で実行できることを示し、CUDAロックインからの脱却を実証する点が新しい。また、Real2Sim合成データ生成に3D Gaussian SplattingとGenesis物理エンジンを組み合わせる点も独自性がある。

3. 技術・手法の肝は?

技術の肝は、ROCm + PyTorch を基盤とし、RDNA4 (Radeon AI PRO R9700) および RDNA3.5 (Radeon PRO W7900) ハードウェア上でネイティブに動作するパイプラインを構築したこと。具体的には、SmolVLAを用いたSim-to-Real操作、言語接地によるオブジェクト選択、3D Gaussian Splattingによる実シーン再構成とGenesis物理エンジンを融合したReal2Sim合成データ生成、四足・二足ロコモーションのための大規模強化学習をAMD環境で実装している。

4. どうやって有効だと検証した?

有効性の検証は、4つの段階的なデモンストレーションを通じて行われた。(1) SmolVLAでトレーニングしたポリシーを物理FrankaアームにデプロイするSim-to-Real操作、(2) 言語に基づくセマンティックなオブジェクト選択タスク(one-of-three)、(3) 実シーンの3DGS再構成とGenesis物理エンジンを組み合わせたReal2Sim合成データ生成パイプライン、(4) 四足・二足ロコモーションの大規模強化学習を複数のハードウェアプラットフォームでベンチマークした。また、無料のRadeon Cloud Platform上で再現可能であるとしている。

5. 議論はある?

要旨からは、CUDAエコシステムからの脱却を主張しているが、AMDハードウェア上での性能やスケーラビリティ、既存のCUDAベースの実装との比較、VLAモデルの精度や汎化性能に関する詳細な議論は不明である。また、ROCmの成熟度やコミュニティサポート、特定のハードウェアへの依存性などについての考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている研究は、SmolVLA、Genesis物理エンジン、3D Gaussian Splatting (3DGS) である。次に読むべき論文としては、SmolVLAの詳細な手法を説明した論文、Genesis物理エンジンの設計と応用に関する論文、3D Gaussian Splattingの元論文("3D Gaussian Splatting for Real-Time Radiance Field Rendering")が挙げられる。また、VLAモデルの一般的な枠組みを理解するために、RT-2やPaLM-Eなどの関連研究も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qing Yang, Xun Wang, Ziguan Wang, Zhenjiang Li, Hongqiang Wang, Dongdong Weng

分類: cs.RO, cs.AI, cs.GR, cs.LG

原文アブストラクト

Physical AI -- the integration of large vision-language-action (VLA) models with embodied agents that act in the real world -- has emerged as the next major frontier for AI, echoed by industry leaders such as Jensen Huang (``the next big thing is Physical AI, AI with a body,'' GTC Paris, June 2025) and Dr. Lisa Su (`we're entering the world of Physical AI ... this is where AI enters the real world,' CES 2026). This paper presents an end-to-end, fully AMD-accelerated technology stack for embodied manipulation, spanning data-center training silicon, Radeon PRO simulation/rendering GPUs, and Ryzen AI edge compute, unified by the open ROCm software stack. We demonstrate that training and deploying VLA-based manipulation policies does not require a CUDA-locked ecosystem. Four progressive demonstrations are presented: (1) a Sim-to-Real manipulation pipeline trained with SmolVLA and deployed on a physical Franka arm; (2) a semantic, language-grounded object-selection task (`one-of-three'); (3) a Real2Sim synthetic-data generation pipeline that fuses 3D Gaussian Splatting (3DGS) reconstructions of real scenes with the Genesis physics engine; and (4) large-scale reinforcement learning for quadruped and humanoid locomotion benchmarked across multiple hardware platforms. All pipelines run natively on ROCm + PyTorch on RDNA4 (Radeon AI PRO R9700) and RDNA3.5 (Radeon PRO W7900) hardware and are reproducible on the free Radeon Cloud Platform.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI