日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空間知能arXiv:2609.07064

SpatialBlock: 合成ブロック積み上げ問題によるLVLMの空間知能向上

SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルの空間知能を高めるため、ブロック積み上げ問題の合成データセットを構築し、学習させる手法を提案した。

詳しい要約

1. どんなもの?

本論文は、Large Vision-Language Models (LVLMs) の空間知能(2D画像から3D構造を再構成・推論する能力)を向上させるための新しいパラダイムを提案する。具体的には、人間の認知発達に着想を得て、構造化されたブロック操作タスク(block-stacking problem)を通じて基礎的な空間スキルを学習させる。合成データセット SpatialBlock-15k(15,000問のブロック積み上げ問題)を導入し、3D-to-2D projection、viewpoint transformation、structural combination をカバーする。さらに、視覚的に複雑な条件での anchor-based reasoning を促すため、controlled color modulation を視覚的手がかりとして組み込む。

2. 先行研究と比べてどこがすごい?

既存のアプローチは、実シーンの空間質問応答データセットを用いるが、密な幾何アノテーションが必要で、コストが高く、時間がかかり、外部知覚モジュールに依存するためノイズが多い。一方、本手法は合成データを用いることで、アノテーションコストを削減し、ノイズを回避しつつ、基礎的な空間スキルを効率的に学習できる点が優れている。また、データセットが合成でコンパクトであるにもかかわらず、実世界の空間タスクへの一般化を達成している点が新しい。

3. 技術・手法の肝は?

手法の肝は、人間の認知発達に基づくブロック操作タスクの設計と、合成データセット SpatialBlock-15k の構築にある。データセットは、3D-to-2D projection、viewpoint transformation、structural combination の3つの空間スキルをカバーする。さらに、controlled color modulation を導入し、視覚的に複雑な状況でも anchor-based reasoning を促す。学習は、直接回答(direct answering)または推論ベースの予測(reasoning-based prediction)の2つの方法で行う。

4. どうやって有効だと検証した?

LVLMs を SpatialBlock-15k で学習し、直接回答と推論ベースの予測の両方で評価した。ベースラインと比較して有意に性能が向上し、実世界の空間タスクへの一般化も確認された。データセットが合成でコンパクトであるにもかかわらず、実世界のタスクで有効であることを示した。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、合成データのみで学習したモデルが実世界のタスクに一般化できる点は興味深い。一方で、合成データの多様性や複雑さが限定的である可能性、また controlled color modulation が実際の視覚的複雑さをどの程度反映しているかなどの議論が考えられる。ただし、要旨には明示的な議論は含まれていない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野として、LVLMs の空間推論能力を評価・向上させる研究や、合成データを用いた視覚推論の研究が挙げられる。具体的には、3D構造理解のためのデータセットや、block-stacking 問題を扱ったロボティクス研究などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Soohyun Ryu, Sohee Kim, Eunho Yang

分類: cs.CV, cs.AI

原文アブストラクト

Large Vision-Language Models (LVLMs) have achieved strong performance on diverse visual tasks, yet their ability to reconstruct and reason about the 3D structure of the scene depicted in 2D images -- referred to as spatial intelligence -- remains limited. Existing approaches attempt to address this gap by using real-scene spatial question answering datasets that require dense geometric annotations. However, constructing such labels is costly, time-consuming, and often noisy due to reliance on external perception modules. In this work, we propose a novel paradigm inspired by human cognitive development: learning foundational spatial skills through structured block-manipulation tasks. We introduce SpatialBlock-15k, a synthetic dataset of 15,000 block-stacking problems covering 3D-to-2D projection, viewpoint transformation, and structural combination. The dataset further incorporates controlled color modulation as visual cues to encourage anchor-based reasoning in visually complex conditions. Experiments demonstrate that LVLMs trained on our dataset through either direct answering or reasoning-based prediction significantly outperform baselines and generalize to real-world spatial tasks, despite the dataset's synthetic and compact nature. Code and data are available at https://github.com/rsoohyun/SpatialBlock.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI