日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2601.08454

VLMが自動生成するビヘイビアツリーと能動知覚によるReal2Sim

Real2Sim via Active Perception with Behavior Trees Automatically Generated by VLMs

シェア:XThreadsFacebookLINEはてブBluesky

VLMが自然言語指示から不足する物理パラメータを特定し、ビヘイビアツリーを自動生成して接触を伴うロボット動作で効率的に推定するReal2Simフレームワークを提案。

詳しい要約

1. どんなもの?

- 高レベルな自然言語要求、不完全なシミュレーション記述、視覚観測から、VLMを用いてReal2Simを自律実行するフレームワーク。 - 不足する物理パラメータの最小部分集合を特定し、接触を伴うロボット操作で取得するBehavior Tree (BT)を生成。 - トルク制御のFranka Emika Pandaで物体質量、表面形状、摩擦などを推定。

2. 先行研究と比べてどこがすごい?

- 従来のReal2Simは手動のsystem identificationや網羅的探索に依存し、タスク非依存で意味的文脈を活かせず非効率。 - 本手法は意図駆動で最小限のパラメータのみを選択取得し、冗長な物理相互作用を削減。 - 網羅的ベースラインと比べ操作効率が大幅向上。 - BTの反応階層がVLMのhallucinationを抑え、安全異常を防止する決定論的フィルタとして機能。

3. 技術・手法の肝は?

- VLMによるSemantic Task Decompositionで、要求と観測から不足物理パラメータを特定。 - 原子動作・センシングプリミティブからなる反応的Behavior Tree (BT)を自動生成。 - BTにより接触リッチなロボット相互作用を通じて選択的にパラメータを取得。 - BTの反応階層が決定論的安全フィルタとしてVLMのhallucinationを緩和。

4. どうやって有効だと検証した?

- トルク制御のFranka Emika Pandaを用いた実世界実験。 - 物体質量、表面形状、摩擦などの導出パラメータを正確に推定。 - 網羅的ベースラインとの定量比較で操作効率の有意な向上を確認。 - 異なる最先端VLM間でのprompt architectureの堅牢性をablation studyで確認。

5. 議論はある?

- BTの反応階層がVLMのhallucinationを緩和し、不安全な物理異常を防止する点を強調。 - スケーラブルで効率的、解釈可能なパイプラインを提供。 - 限界や失敗事例、計算コスト、一般化可能性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 手動system identification、網羅的探索ベースライン、最先端VLM。 - 関連手法: Behavior Trees、Vision-Language Models (VLMs)、Real2Sim、system identification。 - 同分野の定番: domain randomization、differentiable simulation、sim-to-real transfer。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alessandro Adami, Sebastian Zudaire, Ruggero Carli, Pietro Falco

分類: cs.RO

原文アブストラクト

Constructing physically accurate simulation environments (Real2Sim) traditionally relies on manual system identification or rigid, exhaustive exploration routines. These task-agnostic pipelines often fail to leverage semantic scene context, leading to redundant physical interactions and inefficient data acquisition. In this paper, we present an autonomous, intent-driven Real2Sim framework that leverages Vision-Language Models (VLMs) for Semantic Task Decomposition. Given a high-level natural language request, an incomplete simulation description, and a visual observation, the framework autonomously identifies the minimal subset of missing physical parameters required for the simulation task. It then generates a reactive Behavior Tree (BT) composed of atomic motion and sensing primitives to selectively acquire these parameters through contact-rich robotic interaction. Extensive real-world experiments on a torque-controlled Franka Emika Panda demonstrate that our approach accurately estimates object mass, surface geometry, and derived parameters such as friction. Quantitative evaluations reveal significant operational efficiency gains compared to exhaustive baseline methods, while ablation studies confirm the robustness of the prompt architecture across different state-of-the-art VLMs. Furthermore, the reactive hierarchy of the BT acts as a deterministic safety filter, successfully mitigating generative VLM hallucinations and preventing unsafe physical anomalies. Ultimately, this work provides a scalable, efficient, and interpretable pipeline for building physics-aware digital twins directly from unstructured human intent.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI