日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.21243

LookPlanGraph: VLMによるグラフ拡張を用いた身体性指示追従手法

LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

シーングラフをVLMで実行中に更新し、環境変化に対応する指示追従手法を提案。シミュレーションと実環境で有効性を示し、新データセットGraSIFも導入。

詳しい要約

1. どんなもの?

- LLM を planner とする embodied instruction following 手法 - 静的な scene graph と object priors を組み合わせた graph を利用 - 実行中に egocentric camera view を Vision Language Model で処理し graph を逐次更新 - VirtualHome, OmniGibson, 実環境で検証 - GraSIF (Graph Scenes for Instruction Following) dataset を提案

2. 先行研究と比べてどこがすごい?

- 従来手法は事前構築済みの scene graph を前提とし、計画開始時に全情報が揃っていると仮定 - 環境変化(graph 構築から実行までの間の変化)を考慮していない点が課題 - LookPlanGraph は実行中に graph を更新し、既存 prior の検証や新規 entity の発見を行う - 静的な scene graph ベース手法より性能が高いことを示した

3. 技術・手法の肝は?

- static assets と object priors から成る scene graph を構築 - 計画実行中に agent の egocentric camera view を Vision Language Model で処理 - 既存 prior の検証と新規 entity の発見により graph を継続的に更新 - 更新された graph に基づき LLM planner が行動 - 詳細な処理フローは要旨からは不明

4. どうやって有効だと検証した?

- VirtualHome と OmniGibson のシミュレーション環境で、物体位置を変更した実験を実施 - 事前定義された静的 scene graph ベース手法と比較し優位性を確認 - 実環境でも実験を行い実用性を示す - GraSIF dataset(514 タスク、SayPlan Office, BEHAVIOR-1K, VirtualHome RobotHow 由来)と自動検証フレームワークを導入

5. 議論はある?

- 環境変化への対応が重要である点を指摘 - 静的 graph 前提の限界を議論 - 実環境適用の可能性を示す - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明

6. 次に読むべき論文は?

- SayPlan (SayPlan Office の由来) - BEHAVIOR-1K - VirtualHome RobotHow - 静的な scene graph を用いる既存 LLM planner 手法 - Vision Language Model を用いた graph 更新関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anatoly O. Onishchenko, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Methods that use Large Language Models (LLM) as planners for embodied instruction following tasks have become widespread. To successfully complete tasks, the LLM must be grounded in the environment in which the robot operates. One solution is to use a scene graph that contains all the necessary information. Modern methods rely on prebuilt scene graphs and assume that all task-relevant information is available at the start of planning. However, these approaches do not account for changes in the environment that may occur between the graph construction and the task execution. We propose LookPlanGraph - a method that leverages a scene graph composed of static assets and object priors. During plan execution, LookPlanGraph continuously updates the graph with relevant objects, either by verifying existing priors or discovering new entities. This is achieved by processing the agents egocentric camera view using a Vision Language Model. We conducted experiments with changed object positions VirtualHome and OmniGibson simulated environments, demonstrating that LookPlanGraph outperforms methods based on predefined static scene graphs. To demonstrate the practical applicability of our approach, we also conducted experiments in a real-world setting. Additionally, we introduce the GraSIF (Graph Scenes for Instruction Following) dataset with automated validation framework, comprising 514 tasks drawn from SayPlan Office, BEHAVIOR-1K, and VirtualHome RobotHow. Project page available at https://lookplangraph.github.io .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI