日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/エッジ展開arXiv:2606.07383

RhinoVLA技術報告:エッジSoC向け展開最適化VLAモデル

RhinoVLA Technical Report

シェア:XThreadsFacebookLINEはてブBluesky

エッジSoC上でのリアルタイム展開を目指し、トークン効率的なVLAモデルと専用SoCを共同設計し、10Hzの実時間制御を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルのロボットマニピュレーション向け実時間展開を目的とした RhinoVLA の技術報告。 - Huixi R1 edge SoC と協調設計された deployment-oriented な VLA モデル。 - token-efficient な Qwen3-VL backbone と continuous Action Expert を採用。 - 異種ロボット間学習のため View Registry、72D physical state-action slot space、robot-instance LoRA を統合した unified interface を導入。 - Huixi R1 上で end-to-end 11.69 Hz の推論を達成し、10 Hz real-time closed-loop control 目標を満たす。

2. 先行研究と比べてどこがすごい?

- 既存 VLA は edge hardware 上での real-time deployment が困難という課題があった。 - VLM の visual/context tokens が deployment latency の主要因であることを指摘し、token 数削減に着目。 - 同程度のパラメータ規模で pi0.5 に匹敵する downstream performance を達成。 - Huixi R1 上で 11.69 Hz の end-to-end 推論を実現し、10 Hz の real-time closed-loop control 目標を満たす点が先行研究と比べて優位。

3. 技術・手法の肝は?

- token-efficient な Qwen3-VL backbone と continuous Action Expert を採用し、VLM 側の token と計算負荷を削減。 - 事前学習済み multimodal capability を保持。 - 異種ロボットの観測と action schema を共有ポリシー下で整合させる unified interface(View Registry、72D physical state-action slot space、robot-instance LoRA)を導入。 - deployment 側では hardware-aware compilation、mixed-precision execution、parallel visual encoding で最適化。

4. どうやって有効だと検証した?

- Huixi R1 上で end-to-end 11.69 Hz の推論を達成し、10 Hz real-time closed-loop control 目標を満たすことを確認。 - 同程度のパラメータ規模で pi0.5 に匹敵する downstream performance を達成。 - 具体的なタスクやデータセット、評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、ablation study の有無などは記述されていない。

6. 次に読むべき論文は?

- pi0.5(比較対象として言及) - Qwen3-VL(backbone として採用) - Huixi R1(協調設計された edge SoC) - その他、要旨で参照されている具体的な関連研究は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huixi Technology, :, Chen Zhang, Chenyang Zhou, Guanglei Ding, Guanghui He, Haibin Gao, Jiajia Chen, Jianyong Zhang, Lianyi Yu, Ningyi Xu, Ping Xu, Qingchen Li, Yingjun Hu, Yijia Zhang, Yuxi Liu

分類: cs.RO, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong potential for robotic manipulation, but real-time deployment on edge hardware remains challenging. In this work, we identify VLM visual and context tokens as a major source of deployment latency: for GEMM-dominated projection operators, computation grows linearly with the number of input tokens when model dimensions are fixed. Motivated by this observation, we propose RhinoVLA, a deployment-oriented VLA model co-designed with the Huixi R1 edge SoC. RhinoVLA adopts a token-efficient Qwen3-VL backbone and a continuous Action Expert, reducing the VLM-side token and computation burden while preserving pretrained multimodal capability. To support cross-robot learning, RhinoVLA further introduces a unified interface that combines View Registry, 72D physical state-action slot space, and robotinstance LoRA, allowing heterogeneous robot observations and action schemas to be aligned under a shared policy. On the deployment side, RhinoVLA is optimized through hardware-aware compilation, mixed-precision execution, and parallel visual encoding. Experiments show that RhinoVLA achieves downstream performance comparable to {\pi}0.5 at a similar parameter scale, while reaching 11.69 Hz end-to-end inference on Huixi R1, meeting the 10 Hz real-time closedloop control target. The project will be open-sourced at https://github.com/HuixiAI/RhinoVLA.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI