日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

計画/LLM/シミュレーションarXiv:2606.04226

PerceptTwin: 反復LLM計画と検証のための意味的シーン再構築

PerceptTwin: Semantic Scene Reconstruction for Iterative LLM Planning and Verification

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの知覚スタックが生成する意味的シーン表現から、対話型シミュレーションを自動構築するパイプラインを提案。LLMプランナーの計画検証・改善に活用し、成功率を平均約39%向上させた。

詳しい要約

1. どんなもの?

- ロボットの知覚スタックが生成する意味的シーン表現から、対話型シミュレーションを自動構築するパイプライン「PerceptTwin」を提案。 - 構築したシミュレーション上で、ロボット実機で実行する前に計画の検証と洗練を行う。 - AI alignment の文献から借用した LLM judge を導入し、計画の正しさと人間の選好との整合性を検証する。

2. 先行研究と比べてどこがすごい?

- 従来、ロボットが動作する各環境ごとに専用のシミュレーション環境を手作業で作成するのは非現実的だった。 - PerceptTwin は知覚から直接シミュレーションを自動構築することで、この負担を解消する。 - 実験では、PerceptTwin のフィードバックにより LLM プランナーが計画を洗練し、安全性を高め、有害な black-box prompting attacks に抵抗できることを示した。

3. 技術・手法の肝は?

- open-vocabulary object maps と 3D asset generation を組み合わせる。 - affordance prediction と commonsense condition checking を統合する。 - これらにより対話型シミュレーションを構築し、計画検証に用いる。 - LLM judge が計画の正しさと人間の選好との整合性を検証する。

4. どうやって有効だと検証した?

- 一連のタスク群で評価を実施。 - PerceptTwin により、GPT5、GPT5Mini、GPT5Nano プランナーの計画成功率が平均約39%向上。 - スキル前提条件が満たされないために失敗する計画について、人間による計画検証が平均最大18%向上。

5. 議論はある?

- ロボット知覚からの open-vocabulary シーンシミュレーションが、より安全で信頼性の高いロボット計画の基盤となり得る可能性を示す。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、open-vocabulary object maps、3D asset generation、affordance prediction、commonsense condition checking、LLM judge が挙げられる。 - 同分野の定番として、ロボット計画のためのシミュレーション環境構築や LLM プランニングに関する研究が考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Charlie Gauthier, Sacha Morin, Liam Paull

分類: cs.RO, cs.AI

原文アブストラクト

Simulation environments are useful for both robot policy learning and planning verification and validation. Traditionally, the process of creating a simulation was onerous. Creating a bespoke simulation environment for each individual environment that a robot would operate in was simply infeasible. In this work, we introduce PerceptTwin, a fully automatic pipeline that constructs interactive simulations directly from semantic scene representations produced by a robot's perception stack. PerceptTwin combines open-vocabulary object maps with 3D asset generation, affordance prediction, and commonsense condition checking. These interactive simulations can be used to validate and refine plans before they are executed on the robot hardware. Borrowing from the AI alignment literature, we also introduce an LLM judge that verifies plan correctness and alignment with human preferences. Experiments show that PerceptTwin feedback allows LLM planners to refine plans, enhance safety, and resist harmful black-box prompting attacks. In our suite of tasks, PerceptTwin improves plan success by an average of approximately 39% for GPT5, GPT5Mini, and GPT5Nano planners. Additionally, PerceptTwin also improves human plan verification by up to 18% on average for plans that fail due to unfilled skill preconditions. Our results demonstrate the potential of open-vocabulary scene simulation from robot perception as a foundation for safer, more reliable robot planning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI