日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.07592

知覚ストリームからの大規模言語モデルの時空間グラウンディング

Spatio-Temporal Grounding of Large Language Models from Perception Streams

シェア:XThreadsFacebookLINEはてブBluesky

自然言語クエリを時空間論理と正規表現を組み合わせた言語に変換し、動画ログと照合して教師データを自動生成することで、小型LLMの時空間推論能力を大幅に向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 3B パラメータの LLM に時空間推論能力を付与する枠組み FESTS を提案。 - 自然言語クエリを Spatial Regular Expression (SpRE) にコンパイルし、動画ログと照合。 - 照合結果から (query, frames, match, explanation) タプルを自動生成し、教師なしで学習データを無限生成。 - 27k タプルで学習し、frame-level F1 を 48.5% から 87.5% に向上。 - GPT-4.1 と同等の複雑な時空間推論を 2 桁小さいモデルで実現。

2. 先行研究と比べてどこがすごい?

- 既存の小型 frontier LLM は細粒度の空間関係、距離、時間順序を誤処理。 - 手動ラベル不要で無制限の訓練データを生成できる点が新しい。 - 3B モデルで GPT-4.1 に匹敵する性能を達成し、2 桁小さい規模で実現。 - 検証可能な時空間監督を LLM に注入する一般フレームワークを提供。

3. 技術・手法の肝は?

- 自然言語クエリを Spatial Regular Expression (SpRE) にコンパイル。 - SpRE は正規表現構文と S4u 空間論理を組み合わせ、全称・存在量化子を拡張。 - 各 SpRE を構造化動画ログと照合し、整合する (query, frames, match, explanation) タプルを出力。 - このパイプラインにより手動ラベルなしで無制限の訓練データを生成。 - 生成タプルで 3B モデルを学習。

4. どうやって有効だと検証した?

- 27k のタプルで 3B モデルを学習。 - frame-level F1 が 48.5% から 87.5% に向上。 - 複雑な時空間推論で GPT-4.1 と同等の性能を達成。 - モデルサイズは 2 桁小さいことを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- GPT-4.1 - S4u spatial logic - Spatial Regular Expression (SpRE) - Video LLM

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jacob Anderson, Bardh Hoxha, Georgios Fainekos, Hideki Okamoto, Danil Prokhorov

分類: cs.RO

原文アブストラクト

Embodied-AI agents must reason about how objects move and interact in 3-D space over time, yet existing smaller frontier Large Language Models (LLMs) still mis-handle fine-grained spatial relations, metric distances, and temporal orderings. We introduce the general framework Formally Explainable Spatio-Temporal Scenes (FESTS) that injects verifiable spatio-temporal supervision into an LLM by compiling natural-language queries into Spatial Regular Expression (SpRE) -- a language combining regular expression syntax with S4u spatial logic and extended here with universal and existential quantification. The pipeline matches each SpRE against any structured video log and exports aligned (query, frames, match, explanation) tuples, enabling unlimited training data without manual labels. Training a 3-billion-parameter model on 27k such tuples boosts frame-level F1 from 48.5% to 87.5%, matching GPT-4.1 on complex spatio-temporal reasoning while remaining two orders of magnitude smaller, and, hence, enabling spatio-temporal intelligence for Video LLM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI