日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D生成arXiv:2605.18451

コードとしての部屋:エージェント的コード合成による俯瞰画像からの3D部屋生成

Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

俯瞰画像から3D部屋を生成するため、MLLMベースのエージェントがBlenderコードを段階的に合成するフレームワークを提案。記憶モジュールで文脈忘却を防ぎ、専用ベンチマークで有効性を検証した。

詳しい要約

1. どんなもの?

- 3D室内シーンの生成を目的としたMLLMベースのエージェントフレームワーク。 - トップダウン視点の画像からBlenderコードを合成し、3Dルームを生成する。 - 構造化された実行ハーネスを備え、幾何、マテリアル、ライティングを多段階で生成。 - クロスステージメモリモジュールでコンテキスト忘却を軽減。 - コードベースの3Dルーム合成のためのベンチマークも導入。

2. 先行研究と比べてどこがすごい?

- テキストベースの手法は正確な空間情報の捕捉が困難。 - 既存の画像条件付きエージェントはトップダウン視点からの全体的なルーム生成で不安定さや無限ループに陥る。 - 提案手法は構造化実行ハーネスとクロスステージメモリにより、これらの問題を克服。 - 既存のエージェントベース手法との比較で有効性を検証。

3. 技術・手法の肝は?

- MLLMベースのエージェントフレームワークで、Blenderコードを生成。 - トップダウン画像を解析し、シーン要素と空間関係を抽出。 - 幾何、マテリアル、ライティングのための実行可能なBlenderコードを多段階パイプラインで合成。 - クロスステージメモリモジュールを維持し、コンテキスト忘却を緩和。 - 構造化された実行ハーネスが生成プロセスを制御。

4. どうやって有効だと検証した?

- コードベースの3Dルーム合成のための専用ベンチマークを導入。 - 様々な評価プロトコルを含む。 - 既存のエージェントベース手法との包括的な比較を実施。 - 提案する実行ハーネスの有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている既存のMLLMベースの3Dルーム合成手法(テキストベース、画像条件付きエージェント)。 - 関連手法として、Blenderコード生成やエージェントベースの3D生成に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixuan Yang, Zhen Luo, Wanshui Gan, Jinkun Hao, Junru Lu, Jinghao Yan, Zhaoyang Lyu, Xudong Xu

分類: cs.CV, cs.GR

原文アブストラクト

Designing realistic and functional 3D indoor rooms is essential for a wide range of applications, including interior design, virtual reality, gaming, and embodied AI. While recent MLLM-based approaches have shown great potential for 3D room synthesis from textual descriptions or reference images, text-based methods struggle to capture precise spatial information, and existing image-conditioned agents suffer from instability and infinite looping when tasked with holistic room generation from top-down views. To address these limitations, we propose Code-as-Room, an MLLM-based agentic framework equipped with a structured execution harness, which represents 3D rooms with Blender codes. Given a top-down room image, the framework parses the reference image to extract scene elements and their spatial relationships, and synthesizes executable Blender code for geometry, materials, and lighting in a principled, multi-stage pipeline. A cross-stage memory module is maintained throughout to mitigate context forgetting inherent to existing agent-based frameworks. We further introduce a dedicated benchmark for code-based 3D room synthesis, encompassing various evaluation protocols. Based on our benchmark, comprehensive comparisons against existing agent-based methods are conducted to validate the effectiveness of our proposed execution harness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI