日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25474

TuringPAI:オンデバイス物理AIの基盤モデル群

TuringPAI: A Foundation for On-Device Physical AI

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語理解・自動運転・ロボット操作を担う小型モデル群TuringPAIを提案し、車載SoC上でのリアルタイム動作やLIBEROでの高成功率を実現した。

詳しい要約

1. どんなもの?

- TuringPAI はオンデバイス Physical AI 向けのモデル群 - TuringPAI-VL: 共有 vision-language 理解モデル(0.65B) - TuringPAI-Drive: 自動運転向けモデル - TuringPAI-Embodied: ロボット manipulation 向けモデル - 限られたオンボード計算資源下で、空間関係と動的環境を理解し観測を行動に変換することを狙う - TuringPAI-VL が下流の2つの VLA モデルの共有初期化として機能する

2. 先行研究と比べてどこがすごい?

- 幾何学的知覚の定量指標で Qwen2-VL-2B を上回る - TuringPAI-Drive は MLQ interface を用いて、full-token HybridViT baseline に対し評価した全 ADE/FDE 指標を 1.2% 以内に維持 - 社内 simulation 評価で同等の aggregate score を達成 - 単一 NVIDIA Orin-X SoC 上で 12Hz の軌道生成を実車動作で実現 - TuringPAI-Embodied は LIBERO の4スイートで平均 96.8% の成功率

3. 技術・手法の肝は?

- TuringPAI-VL は HybridViT-MLQ を基盤とする - convolutional local aggregation と Transformer ベースの global modeling を組み合わせ - Multi-scale Latent Queries (MLQ) により、同一 visual Transformer 内で空間特徴と観測履歴を統合 - 言語モデルへの compact で構造化された interface を提供 - 学習は一般 vision-language データに加え、geometric・cross-view・temporal の supervision を組み合わせ - 自動運転では XPeng Native Runtime (XNRT) を NVIDIA Orin-X SoC 上で使用

4. どうやって有効だと検証した?

- TuringPAI-VL: 幾何学的知覚の定量指標で Qwen2-VL-2B と比較 - TuringPAI-Drive: full-token HybridViT baseline との ADE/FDE 指標比較、社内 simulation での aggregate score 評価、NVIDIA Orin-X SoC 上の実車動作で 12Hz を確認 - TuringPAI-Embodied: LIBERO の4スイートで平均成功率 96.8% を計測

5. 議論はある?

- 要旨からは不明 - 明示されているのは、実用的なオンデバイス制約下で driving と robotic manipulation に共有 vision-language foundation が有効という主張まで

6. 次に読むべき論文は?

- Qwen2-VL-2B(比較対象の vision-language モデル) - HybridViT(full-token baseline の基盤) - LIBERO(manipulation 評価ベンチマーク) - VLA モデル全般(下流モデルの枠組み)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiman Wu, Hanlin Chen, Yuhua Wei, Mingyuan Wang, Shaman Tang, Minghao Li, Rui Xin, Xingye Liu, Zhichao Yang, Yiqi Yu, Hongyan Pei, Xiaowen Tian, YingYing Liu, Shiwen Liu, Jiahui Hu, Yizhao Wang, Yuheng Zhang, Anhua Liu, Yue He, Shuang Su, Da Zhu, Hua Zhou, Pengfei Diao, Haojie Yang, Weichao Huang, Hang Zhang, Honggou Yang, Xianming Liu

分類: cs.CV, cs.RO

原文アブストラクト

Physical AI requires models that understand spatial relationships and dynamic environments and translate observations into actions under limited onboard compute. We present TuringPAI, a family of models for on-device Physical AI comprising TuringPAI-VL for shared vision-language understanding, TuringPAI-Drive for autonomous driving, and TuringPAI-Embodied for robotic manipulation. TuringPAI-VL is a 0.65B model built on HybridViT-MLQ, which combines convolutional local aggregation with Transformer-based global modeling. Multi-scale Latent Queries integrate spatial features and observation history within the same visual Transformer, providing a compact, structured interface to the language model. Training combines general vision-language data with geometric, cross-view, and temporal supervision. TuringPAI-VL supports general multimodal understanding and improves quantitative geometric perception over Qwen2-VL-2B, while providing a shared initialization for the two downstream VLA models. For autonomous driving, TuringPAI-Drive maintains all evaluated ADE/FDE metrics within 1.2\% of a full-token HybridViT baseline using the MLQ interface and achieves comparable aggregate scores in an in-house simulation evaluation. Using XPeng Native Runtime (XNRT) on a single NVIDIA Orin-X SoC, TuringPAI-Drive generates trajectories at 12\,Hz in on-vehicle operation. For robotic manipulation, TuringPAI-Embodied achieves a 96.8\% average success rate across the four LIBERO suites. These results demonstrate a shared vision-language foundation for driving and robotic manipulation under practical on-device constraints.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI