日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.23107

ロボット知覚と遠隔操作計画のためのオープン語彙時空間シーングラフ

Open-Vocabulary Spatio-Temporal Scene Graph for Robot Perception and Teleoperation Planning

シェア:XThreadsFacebookLINEはてブBluesky

自然言語による遠隔操作で生じる通信遅延による状態のずれを解消するため、LVLMを用いてオープン語彙の3D物体表現を時間方向に拡張し、遅延タグを付与した時空間シーングラフを構築する手法を提案した。

詳しい要約

1. どんなもの?

- 遠隔操作(teleoperation)を自然言語で行うための知覚・計画基盤 - Spatio-Temporal Open-Vocabulary Scene Graph (ST-OVSG) という表現を提案 - open-vocabulary な知覚に時間的動態と軽量な latency annotation を付与 - LVLM を用いて open-vocabulary な 3D 物体表現を構築 - Hungarian assignment と独自の temporal matching cost で時間方向に拡張し、統合的な spatio-temporal scene graph を生成 - 伝送遅延による remote と local の状態不一致を、latency tag を介した LVLM planner の過去状態参照で解消する狙い - task-oriented subgraph filtering で冗長性を削減し、planner へ簡潔な入力を作る

2. 先行研究と比べてどこがすごい?

- 動的な遠隔シーンでの双方向通信遅延に起因する remote 知覚状態と operator 意図のギャップを扱う点が特徴 - 既存の open-vocabulary 3D 表現に対し、時間的動態と latency annotation を統合した点が差分 - Replica benchmark で node accuracy 74% を達成し、ConceptGraph を上回ったと報告 - fine-tuning なしで新規カテゴリへ汎化し、伝送遅延に対する planning robustness を高めると主張 - 遅延下で ST-OVSG 支援の LVLM planner が planning success rate 70.5% を達成

3. 技術・手法の肝は?

- LVLM を活用して open-vocabulary な 3D 物体表現を構築 - それらを時間方向へ拡張するため Hungarian assignment と独自の temporal matching cost を適用し、統合 spatio-temporal scene graph を形成 - latency tag を埋め込み、LVLM planner が過去の scene state を遡って参照できるようにし、伝送遅延による local-remote 状態不一致を解消 - task-oriented subgraph filtering により冗長性を削減し、task に関連する手がかりを強調した compact な planner 入力を生成 - fine-tuning を必要とせず新規カテゴリへ汎化する設計

4. どうやって有効だと検証した?

- Replica benchmark で node accuracy 74% を達成し、ConceptGraph と比較して優位と報告 - latency-robustness 実験を実施し、ST-OVSG に支援された LVLM planner が planning success rate 70.5% を達成 - 新規カテゴリへの汎化と、fine-tuning なしでの planning robustness 向上を実験で示すと記載 - 具体的な実験設定・比較条件の詳細は要旨からは不明

5. 議論はある?

- 伝送遅延下での自然言語 teleoperation における状態不一致と command misunderstanding の緩和が主眼 - latency tag による過去状態参照と subgraph filtering の組合せが planning 性能に寄与するという主張 - ただし遅延量・通信条件・タスク種別ごとの限界や失敗要因の分析は要旨からは不明 - LVLM 依存に伴う計算コストや認識誤差の影響、実機遠隔操作での検証範囲も要旨からは不明

6. 次に読むべき論文は?

- ConceptGraph(比較対象として明示) - LVLM を用いた open-vocabulary 3D perception / planning の関連研究(具体名は要旨からは不明) - Hungarian assignment を用いた tracking / data association の関連手法 - scene graph を用いた robot perception と teleoperation planning の同分野研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Wang, Zeyu Xue, Mujie Liu, Tongqin Zhang, Yan Hu, Zhou Zhao, Chenguang Yang, Zhenyu Lu

分類: cs.RO, cs.AI

原文アブストラクト

Teleoperation via natural-language reduces operator workload and enhances safety in high-risk or remote settings. However, in dynamic remote scenes, transmission latency during bidirectional communication creates gaps between remote perceived states and operator intent, leading to command misunderstanding and incorrect execution. To mitigate this, we introduce the Spatio-Temporal Open-Vocabulary Scene Graph (ST-OVSG), a representation that enriches open-vocabulary perception with temporal dynamics and lightweight latency annotations. ST-OVSG leverages LVLMs to construct open-vocabulary 3D object representations, and extends them into the temporal domain via Hungarian assignment with our temporal matching cost, yielding a unified spatio-temporal scene graph. A latency tag is embedded to enable LVLM planners to retrospectively query past scene states, thereby resolving local-remote state mismatches caused by transmission delays. To further reduce redundancy and highlight task-relevant cues, we propose a task-oriented subgraph filtering strategy that produces compact inputs for the planner. ST-OVSG generalizes to novel categories and enhances planning robustness against transmission latency without requiring fine-tuning. Experiments show that our method achieves 74 percent node accuracy on the Replica benchmark, outperforming ConceptGraph. Notably, in the latency-robustness experiment, the LVLM planner assisted by ST-OVSG achieved a planning success rate of 70.5 percent.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI