日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.00020

身体性セマンティクス:身体的操作軌跡における視覚言語モデルのための空間シーングラフデータセットとベンチマーク

EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための視覚言語行動モデルにおける空間的接地の限界に対処するため、空間シーングラフデータセットとベンチマークを導入し、物体間の空間関係の評価と、シーングラフをVLAポリシーに注入することで下流制御を改善することを示した。

詳しい要約

1. どんなもの?

EmbodimentSemanticは、ロボット操作における空間的接地(spatial grounding)を評価するための空間シーングラフデータセットとベンチマークを導入する。シーンを有向のオブジェクト-関係-オブジェクトのトリプレットとして表現し、固定の関係セットを用いて空間関係を指定する。実世界の操作観測データ(低コストのSO101ロボットアームで収集)と、シミュレータに基づくLIBEROベンチマーク(60K以上の操作フレーム、120K以上のカメラ固有シーングラフ)を含む。

2. 先行研究と比べてどこがすごい?

既存のVLAシステムはオブジェクト認識や言語指示の追従はできるが、空間配置(支持、包含、順序、遮蔽、深度敏感な関係)の明示的表現が欠如している。EmbodimentSemanticは、シーングラフ表現を用いてオブジェクト結合、関係予測、空間一貫性を直接評価できる点で先行研究より進んでいる。また、シミュレータで自動生成されたグラウンドトゥルース関係を提供し、制御タスクへの応用も検証する点が新しい。

3. 技術・手法の肝は?

手法の肝は、シーンを有向トリプレットで表現し、固定の関係セットを用いること。データセットは実世界のSO101ロボットアーム観測と、MuJoCoジオメトリ、ワールド座標、カメラ投影、可視性制約から自動導出されるグラウンドトゥルースを持つシミュレータベースのLIBEROベンチマークを含む。さらに、シーングラフを既存のVLAポリシープロンプトに注入して下流制御への影響をテストする。

4. どうやって有効だと検証した?

オープンソースおよび商用VLMに対して実験を行い、現在のモデルがもっともらしい関係を予測するが、正確な深度認識や視点依存の空間構造に苦労することを示した。また、シーングラフをVLAポリシーに注入することで下流制御が改善するかどうかをテストした。

5. 議論はある?

要旨からは、現在のVLMが空間関係の予測において深度や視点依存性の正確さに欠けることが示唆されるが、シーングラフの注入が制御性能に与える影響の詳細や、実世界データとシミュレーションデータのギャップについては不明。また、固定の関係セットの表現力や、他の関係タイプへの拡張性についての議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、VLAシステム、vision-language models、LIBEROベンチマーク、MuJoCoシミュレータ、シーングラフ表現に関する論文が挙げられる。具体的には、VLAポリシーへのプロンプト注入の研究や、空間関係予測のベンチマークが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hassan Jaber, Refinath S N, Luca Cagliero, Christopher E. Mower, Haitham Bou-Ammar

分類: cs.RO

原文アブストラクト

Spatial grounding remains a key limitation of vision-language-action (VLA) systems for robotic manipulation. While current models can recognize objects and follow language instructions, they often lack an explicit representation of how objects are arranged in space, including support, containment, ordering, occlusion, and depth-sensitive relations. We introduce EmbodimentSemantic, a spatial scene-graph dataset and benchmark for evaluating relational grounding in embodied manipulation. EmbodimentSemantic represents scenes as directed object-relation-object triplets, where each triplet specifies a spatial relation between an ordered pair of objects using a fixed set of relations. This representation enables direct evaluation of object binding, relation prediction, and spatial consistency. The dataset includes real-world manipulation observations collected with the low-cost SO101 robot arm, together with generated scene graphs for studying spatial grounding in practical robotic settings. To provide controlled validation, we also introduce a simulator-grounded LIBERO benchmark with over 60K manipulation frames and more than 120K camera-specific scene graphs across paired third-person and wrist views, where ground-truth relations are derived automatically from MuJoCo geometry, world coordinates, camera projections, and visibility constraints. We further test whether scene graphs improve downstream control by injecting them into existing VLA policy prompts. Experiments across open-source and commercial VLMs show that current models often predict plausible relations but struggle with exact depth-aware and viewpoint-dependent spatial structure. EmbodimentSemantic provides a unified framework for diagnosing spatial grounding in VLM perception and testing its utility for VLA manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI