日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオワールドモデルarXiv:2607.00310

小売業における外在視点と内在視点の基盤ビデオワールドモデル適応の比較

RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail

シェア:XThreadsFacebookLINEはてブBluesky

小売店舗の同期した外在視点・内在視点ビデオを用いて、事前学習済みビデオ拡散モデルを小売シーンに適応させる際、どの視点のデータが最も効果的かを検証した。外在視点のみの適応が、組み合わせ適応と同等以上の性能を示した。

詳しい要約

1. どんなもの?

RetailSMVは、小売シーンにおける基盤ビデオワールドモデルのパラメータ効率的適応を研究するための、同期された多視点ビデオコーパスと、それに基づく適応実験の報告である。店舗スタッフの視点(在庫補充、陳列、計量、供給カート管理、レジスキャン)での同期したego/exoビデオを5つのスーパーマーケットから32,105クリップ収集し、Cosmos3-NanoをLoRAで3構成(egoのみ、exoのみ、両方)適応させ、どの視点のデータが最強の適応モデルを生むかを検証する。

2. 先行研究と比べてどこがすごい?

先行研究の小売ビデオコーパスは顧客中心のフレーミングであるのに対し、RetailSMVは店舗スタッフの視点に焦点を当てた同期ego/exoキャプチャを提供する点が新しい。また、基盤ビデオワールドモデルの小売ドメイン適応において、視点の選択(ego vs exo)が適応性能に与える影響を、同一ハイパーパラメータ下で厳密な統計プロトコルを用いて比較した点が独自性である。

3. 技術・手法の肝は?

手法の肝は、事前学習済みのCosmos3-Nanoビデオ拡散モデルに対して、3つのLoRA構成(egocentric-only、exocentric-only、combined)を同一ハイパーパラメータで訓練し、適応データの視点が生成品質に与える影響を分離して評価すること。また、RetailSMVコーパスは同期したego/exoペアを提供し、同一アクティビティの異なる視点からの学習を可能にする。評価は200クリップのホールドアウトテストセットで7つの補完的メトリクスを用い、厳密なペア統計プロトコルで比較する。

4. どうやって有効だと検証した?

200クリップのホールドアウトテストセットで、7つのメトリクス(LPIPS、PSNR、DreamSimなど)を用いて評価した。その結果、exocentric-only適応はcombined適応に対して7つのポイント推定のうち6つで同等以上であり、LPIPS、PSNR、DreamSimでは統計的に有意に優れていた。さらに、対称ペア比較により、ego-only訓練にexoデータを追加すると性能が向上するが、exo-only訓練にegoデータを追加すると性能が低下することが示された。

5. 議論はある?

議論として、exocentric-only適応がcombined適応を上回る理由は、exoデータがシーン全体の文脈を捉え、egoデータの冗長性やノイズが適応を妨げる可能性が示唆される。また、適応ギャップが最も短いロールアウト時間で最大となることから、近距離予測ウィンドウが適応の恩恵を最も受ける領域であると結論づけている。ただし、要旨からは、この結果が他の基盤モデルやドメインに一般化するかは不明である。

6. 次に読むべき論文は?

要旨で参照されている研究は、基盤ビデオ拡散モデル(Cosmos3-Nano)とLow-Rank Adaptation (LoRA)である。次に読むべき論文としては、Cosmos3-Nanoの元論文、LoRAの元論文、および小売ビデオコーパスに関する先行研究(顧客中心のフレーミングのもの)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amirreza Rouhi, Rajat Aggarwal, Parikshit Sakurikar, Anoop M. Namboodiri, Sashi P. Reddi

分類: cs.CV, cs.AI

原文アブストラクト

Foundation video diffusion models are increasingly viewed as world simulators for embodied agents, yet their pretraining on internet-scale generic video leaves them poorly aligned with real-world deployment domains. We study parameter-efficient adaptation of a pretrained foundation video world model to retail scenes: when synchronized egocentric and exocentric video of the same activity are available, which viewpoint of training data produces the strongest adapted model? We introduce RetailSMV (Retail Synchronized Multi-View), a corpus of 32,105 captioned retail clips from five supermarkets with synchronized ego/exo capture from the store-staff perspective (stocking, arranging, weighing, managing supply carts, scanning at checkout), rather than the customer-centric framing of prior retail video corpora, and train three matched Low-Rank Adaptation (LoRA) configurations of Cosmos3-Nano (egocentric-only, exocentric-only, combined) under identical hyperparameters. On a 200-clip held-out test set evaluated with seven complementary metrics under a strict paired statistical protocol, exocentric-only adaptation matches or exceeds combined adaptation on six of seven point estimates and is significantly better on LPIPS, PSNR, and DreamSim, despite training on only 15,985 exocentric clips (versus 32,105 for combined). A symmetric paired comparison further shows that adding exocentric data to egocentric-only training helps while adding egocentric data to exocentric-only training hurts. The absolute adaptation gap is largest at the shortest rollout time, identifying the near-horizon prediction window as the regime in which adaptation is most beneficial.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI