日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.16655

空間超感覚なしで空間超感覚を解く

Solving Spatial Supersensing Without Spatial Supersensing

シェア:XThreadsFacebookLINEはてブBluesky

動画世界モデルの空間超感覚ベンチマークを批判的に検証し、単純なbag-of-wordsモデルがほぼ完全に解けること、既存の推論手法がショートカットを利用していることを示した。

詳しい要約

1. どんなもの?

- Cambrian-S が提案した spatial supersensing 向け video world model 研究の批判的検証 - 対象は 2 つの benchmark: VSI-Super-Recall (VSR) と VSI-Super-Counting (VSC) - 併せて Cambrian-S の bespoke predictive sensing inference 戦略も検証 - 主張は 2 点 - 現行の VSI-Super benchmark は spatial supersensing を信頼性高く測定できていない - Cambrian-S の inference 手法は robust な spatial supersensing ではなく shortcut を exploit して性能を上げている - 付録 A に Cambrian-S 著者らの反論を収録し、code も公開

2. 先行研究と比べてどこがすごい?

- Cambrian-S の主張(空間 supersensing で video world model を改善)に対する反証を提示 - 単純な baseline NoSense を導入 - ほぼ全ての temporal structure を捨て、bag-of-words SigLIP のみ使用 - VSR をほぼ完全に解き、4 時間 video でも 95% accuracy - spatial cognition・world modeling・spatial supersensing なしで VSR がほぼ解けることを示す - VSC に対し VSC-Repeat という sanity check を提案 - Cambrian-S の mean relative accuracy が 42% から 0% へ崩壊 - 既存手法が benchmark の shortcut に依存していることを示唆

3. 技術・手法の肝は?

- NoSense baseline - temporal structure をほぼ破棄 - bag-of-words SigLIP model のみで VSR に挑戦 - VSC-Repeat による shortcut 検出 - 各 video を 1〜5 回自身と concatenate - unique object 数は不変という性質を利用した摂動 - 真に spatial supersensing する系なら同一 scene の view を認識し count 予測を保つはず - Cambrian-S の inference が「room が再訪されない」という VSC の shortcut に依存すると仮説 - code 公開: github.com/bethgelab/supersanity

4. どうやって有効だと検証した?

- VSR 上で NoSense が 4 時間 video でも 95% accuracy を達成 - spatial cognition 等なしでほぼ解けることを実証 - VSC 上で VSC-Repeat 摂動を実施 - Cambrian-S の mean relative accuracy が 42% から 0% に collapse - shortcut 依存の証拠として提示 - 付録 A で Cambrian-S 著者らの response を併記し balanced な視点を提供

5. 議論はある?

- 現行 VSI-Super benchmark の妥当性への疑義 - spatial supersensing を未だ信頼性高く測定できていない可能性 - Cambrian-S の predictive-sensing inference recipe の解釈 - robust な spatial supersensing ではなく shortcut の inadvertent exploitation で性能向上している可能性 - Cambrian-S 著者らの反論を Appendix A に収録し、議論の均衡を図る - 具体的な反論内容や追加実験の詳細は要旨からは不明

6. 次に読むべき論文は?

- Cambrian-S(批判対象の元研究) - VSI-Super-Recall (VSR) および VSI-Super-Counting (VSC) benchmark の原論文 - SigLIP(bag-of-words baseline の構成要素) - video world model および spatial supersensing 関連の定番研究 - shortcut learning / benchmark 妥当性に関する一般的文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vishaal Udandarao, Shyamgopal Karthik, Surabhi S. Nath, Andreas Hochlehnert, Matthias Bethge, Ameya Prabhu

分類: cs.CV, cs.LG

原文アブストラクト

Cambrian-S aims to take the first steps towards improving video world models with spatial supersensing by introducing (i) two benchmarks, VSI-Super-Recall (VSR) and VSI-Super-Counting (VSC), and (ii) bespoke predictive sensing inference strategies tailored to each benchmark. In this work, we conduct a critical analysis of Cambrian-S across both these fronts. First, we introduce a simple baseline, NoSense, which discards almost all temporal structure and uses only a bag-of-words SigLIP model, yet near-perfectly solves VSR, achieving 95% accuracy even on 4-hour videos. This shows benchmarks like VSR can be nearly solved without spatial cognition, world modeling or spatial supersensing. Second, we hypothesize that the tailored inference methods proposed by Cambrian-S likely exploit shortcut heuristics in the benchmark. We illustrate this with a simple sanity check on the VSC benchmark, called VSC-Repeat: We concatenate each video with itself 1-5 times, which does not change the number of unique objects. However, this simple perturbation entirely collapses the mean relative accuracy of Cambrian-S from 42% to 0%. A system that performs spatial supersensing and integrates information across experiences should recognize views of the same scene and keep object-count predictions unchanged; instead, Cambrian-S inference algorithm relies largely on a shortcut in the VSC benchmark that rooms are never revisited. Taken together, our findings suggest that (i) current VSI-Super benchmarks do not yet reliably measure spatial supersensing, and (ii) predictive-sensing inference recipes used by Cambrian-S improve performance by inadvertently exploiting shortcuts rather than from robust spatial supersensing. We include the response from the Cambrian-S authors (in Appendix A) to provide a balanced perspective alongside our claims. We release our code at: https://github.com/bethgelab/supersanity

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI