日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚プランニングarXiv:2505.08444

未ラベル動画からの記号誘導による視覚プラン抽出

Extracting Visual Plans from Unlabeled Videos via Symbolic Guidance

シェア:XThreadsFacebookLINEはてブBluesky

未ラベルのプレイデータから視覚基盤モデルを用いてタスク記号を抽出し、記号遷移グラフに基づいて長期的な操作タスクの視覚サブゴールを効率的に生成するフレームワークVis2Planを提案。

詳しい要約

1. どんなもの?

- 長期的な manipulation タスクのための visual planning フレームワーク「Vis2Plan」 - goal-conditioned low-level policy に与える中間 visual subgoal 列を生成 - 生の unlabeled play data から学習 - 特徴 - symbolic guidance に基づく効率的・説明可能・white-box な枠組み - 記号レベルで計画し、物理的に整合した sub-goal 画像を組み立てる

2. 先行研究と比べてどこがすごい?

- 既存手法は video generation model で subgoal を生成 - 問題点: model hallucination と計算コスト - Vis2Plan の優位性 - 実ロボット設定で diffusion video generation ベースの visual planner より aggregate success rate が 53% 高い - visual plan 生成が 35× 高速 - 推論過程が完全に検査可能(inspectable)

3. 技術・手法の肝は?

- vision foundation models を活用し、raw unlabeled play data から compact な task symbols を自動抽出 - 抽出した symbols で high-level symbolic transition graph を構築 - multi-goal, multi-stage planning に対応 - テスト時 - 目標タスクに対し symbolic level で planning - その symbolic representation に grounded された物理的に整合する sub-goal 画像列を生成

4. どうやって有効だと検証した?

- 実ロボット設定での実験 - diffusion video generation ベースの visual planner と比較 - aggregate success rate が 53% 向上 - visual plan 生成が 35× 高速 - 物理的に整合した image goals の生成と、完全に検査可能な推論ステップを示す結果 - 詳細なタスク設定・データセットは要旨からは不明

5. 議論はある?

- 主張: 物理的に整合した image goals を生成しつつ、完全に検査可能な推論ステップを提供 - 記号レベルの planning により hallucination と計算コストを回避 - 限界・失敗ケース・symbol 抽出の頑健性などは要旨からは不明

6. 次に読むべき論文は?

- diffusion video generation ベースの visual planner(比較対象) - goal-conditioned low-level policy - vision foundation models を用いた symbol extraction - symbolic transition graph による planning - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenyan Yang, Ahmet Tikna, Yi Zhao, Yuying Zhang, Luigi Palopoli, Marco Roveri, Joni Pajarinen

分類: cs.RO

原文アブストラクト

Visual planning, by offering a sequence of intermediate visual subgoals to a goal-conditioned low-level policy, achieves promising performance on long-horizon manipulation tasks. To obtain the subgoals, existing methods typically resort to video generation models but suffer from model hallucination and computational cost. We present Vis2Plan, an efficient, explainable and white-box visual planning framework powered by symbolic guidance. From raw, unlabeled play data, Vis2Plan harnesses vision foundation models to automatically extract a compact set of task symbols, which allows building a high-level symbolic transition graph for multi-goal, multi-stage planning. At test time, given a desired task goal, our planner conducts planning at the symbolic level and assembles a sequence of physically consistent intermediate sub-goal images grounded by the underlying symbolic representation. Our Vis2Plan outperforms strong diffusion video generation-based visual planners by delivering 53\% higher aggregate success rate in real robot settings while generating visual plans 35$\times$ faster. The results indicate that Vis2Plan is able to generate physically consistent image goals while offering fully inspectable reasoning steps.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI