日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2605.25326

知覚してから計画する:単眼3Dシーン配置推定のためのレイアウト・アズ・ポリシー

Perceive-then-Plan: Layout-as-Policy for Monocular 3D Scene Layout Estimation

シェア:XThreadsFacebookLINEはてブBluesky

単眼画像から3Dシーン配置を推定する際に、視覚言語モデルを用いて物体を認識し、物理的整合性を保つように配置を反復改善する手法を提案した。

詳しい要約

1. どんなもの?

- 単眼画像から3Dシーン布局を推定する問題をperceive-then-planとして定式化 - Perceiverが3D物体をgroundingし、Plannerが物理的妥当性を改善する行動で反復的にシーン仮説を洗練 - Layout-as-Policy (LaP)を提案:計画段階を政策学習問題として扱う - 3D布局を構造化状態として表現し、translation, rotation, rescalingなどの離散行動で洗練 - 一発予測ではなく反復的洗練プロセスへ変換

2. 先行研究と比べてどこがすごい?

- 従来の直接予測では困難な物理的・空間的制約の調整を可能に - 一発予測タスクから反復的洗練プロセスへ変換することで、大域的制約や複雑な物体相互作用をより良く扱える - 明示的な報酬設計なしに修正行動を学習 - 下流タスク(シーン編集・操作)を自然にサポート

3. 技術・手法の肝は?

- 視覚言語モデルを用いたperceive-then-planフレームワーク - Perceiverが3D物体をgroundingし、geometry-enhancedな初期化を提供 - Plannerがtranslation, rotation, rescalingなどの離散行動で布局を反復洗練 - 政策学習:3D布局を構造化状態とし、行動系列を生成 - 学習:supervised trajectory initializationとpreference-based optimizationを組み合わせ

4. どうやって有効だと検証した?

- 実験により、物理的に整合し視覚観測とより良く整合する布局を生成 - シーン編集や操作などの下流タスクを自然にサポートすることを示す - 具体的なデータセット名や評価指標は要旨からは不明

5. 議論はある?

- 物理的妥当性と視覚観測との整合性の両立を目指す - 反復的洗練により大域的制約と複雑な物体相互作用を扱える - 明示的な報酬設計が不要 - 限界や課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてvision-language models, policy learning, preference-based optimization, monocular 3D layout estimationの定番研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwei Zhou, Yu-Wing Tai

分類: cs.CV

原文アブストラクト

Building structured 3D scene layouts from a single image requires reconciling visual observations with physical and spatial constraints, a challenge that is difficult to address with direct prediction alone. In this work, we formulate monocular 3D layout estimation as a perceive-then-plan problem with vision-language models, where a Perceiver first grounds the 3D objects and then a Planner iteratively refines the scene hypothesis through actions that improve physical plausibility while preserving consistency with the input image. We propose Layout-as-Policy (LaP), which casts the planning stage as a policy learning problem: 3D layouts are represented as structured states, and refined via discrete actions such as translation, rotation, and rescaling. Starting from an observation-aligned initialization with the geometry-enhanced Perceiver, the LaP Planner is trained to produce action sequences that progressively resolve geometric inconsistencies and enforce realistic spatial relations. To enable effective learning, we combine supervised trajectory initialization with preference-based optimization, allowing the model to learn corrective behaviors without requiring explicit reward engineering. This formulation transforms layout estimation from a one-shot prediction task into an iterative refinement process, enabling better handling of global constraints and complex object interactions. Experiments demonstrate that our approach produces layouts that are more physically coherent and better aligned with visual observations, while naturally supporting downstream tasks such as scene editing and manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI