日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.29281

PRISM: 実世界小売環境向け身体性視覚言語モデルのためのマルチビュー・マルチ能力動画データセット

PRISM: A Multi-View Multi-Capability Retail Video Dataset for Embodied Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

スーパーでの一人称・三人称・360度視点の動画27万サンプルを収集し、空間・物理・身体行動の知識を問う20以上のタスクで視覚言語モデルを微調整するデータセットを構築した。

詳しい要約

1. どんなもの?

270Kサンプルの多視点動画SFTコーパス。実世界retail環境のembodied VLM向け。 - 3次元知識オントロジー: spatial, temporal/physical, embodied action - 4評価次元: ER, CS, SP, IP、20+ capability probes - 視点: egocentric, exocentric, 360°、5スーパー - 監督形式: open-ended, chain-of-thought, multiple-choice - 規模: 4fpsで約11.8Mフレーム、約730Mトークン

2. 先行研究と比べてどこがすごい?

既存の汎用VLMは構造化実環境の知覚要求にギャップ。 - 単一実展開ドメインで3知識次元を全て実装した初のデータセットと主張 - 20+ probesを4次元でカバー - ドメイン特化動画SFTコーパスとして最大級 - 事前学習ベースライン比で全probes誤り率66.6%減、embodied action理解の精度36.4%向上

3. 技術・手法の肝は?

オントロジー構造化されたドメイン特化SFT。 - 3次元知識オントロジーに基づくデータ設計 - 多視点(egocentric/exocentric/360°)動画収集 - 5スーパーでの実環境データ - open-ended, chain-of-thought, multiple-choice監督を混在 - 4fpsで約11.8Mフレーム、約730Mトークン

4. どうやって有効だと検証した?

PRISMでfine-tuningし、20+ probesで評価。 - 事前学習ベースライン比で全probes誤り率66.6%減 - embodied action理解で精度36.4%向上 - 4評価次元(ER, CS, SP, IP)で検証 - 詳細は要旨からは不明

5. 議論はある?

オントロジー構造化・ドメイン特化SFTが実世界embodied VLMを強化し得ると示唆。 - 物理AIの失敗は視覚認識ではなく空間・物理動態・embodied action理解不足に起因 - 単一実展開ドメインで3知識次元を実装した初のデータセット - 限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法: embodied VLM, vision-language models, supervised fine-tuning (SFT) - 同分野の定番: 実世界retail向けembodied AI, 多視点動画データセット, chain-of-thought supervision

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amirreza Rouhi, Parikshit Sakurikar, Satya Sai Reddy, Narsimha Menga, Anirudh Govil, Sri Harsha Chittajallu, Rajat Aggarwal, Anoop Namboodiri, Sashi Reddi

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

A critical gap exists between the general-purpose visual understanding of state-of-the-art physical AI models and the specialized perceptual demands of structured real-world deployment environments. We present PRISM, a 270K-sample multi-view video supervised fine-tuning (SFT) corpus for embodied vision-language-models (VLMs) in real-world retail environments. PRISM is motivated by a simple observation - physical AI systems fail not because of poor visual recognition, but because they do not understand space, physical dynamics and embodied action well enough to operate reliably in the world. To this end, PRISM is grounded in a novel three-dimensional knowledge ontology that spans spatial knowledge, temporal and physical knowledge, and embodied action knowledge. It covers 20+ capability probes across four evaluation dimensions - Embodied Reasoning (ER), Common Sense (CS), Spatial Perception (SP), and Intuitive Physics (IP), and to our knowledge, PRISM is the first dataset to instantiate all three knowledge dimensions within a single real-world deployment domain. The corpus captures data from egocentric, exocentric and 360{\deg} viewpoints across five supermarket locations and includes open-ended, chain-of-thought, and multiple-choice supervision. At 4 fps, PRISM spans approximately 11.8M video frames and approximately 730M tokens, placing it among the largest domain-specific video SFT corpora. Fine-tuning on PRISM reduces the error rate across all 20+ probes by 66.6% over the pre-trained baseline, with significant gains in embodied action understanding where the accuracy improves by 36.4%. Our results suggest that ontology-structured, domain specific SFT can meaningfully strengthen embodied VLMs for real-world settings. The PRISM dataset and more details are available at https://dreamvu.ai/prism

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI