日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シミュレーション環境生成arXiv:2608.11876

D3D-GEN: ソーシャルロボティクスのためのロボット認識・ドメイン接地型インタラクティブ3Dワールド生成

D3D-GEN: Robot-Aware Domain-Grounded Interactive 3D World Generation for Social Robotics

シェア:XThreadsFacebookLINEはてブBluesky

ドメイン知識の自動収集とRAGパイプラインを用いて、ユーザーが迅速にドメイン接地型の完全インタラクティブな3Dワールドを生成できるシステムを提案。固定の3Dモデルデータベースに依存せず、Isaac SimやGazeboで利用可能な環境を生成する。

詳しい要約

1. どんなもの?

D3D-GENは、ソーシャルロボティクス向けに、ドメイン知識の収集と3Dワールド生成を自動化するシステムである。ユーザーがドメイン記述プロンプトを与えると、リサーチエージェントが公開データを収集して永続的なドメインデータベースを構築し、そのデータベースを用いたRAGパイプラインが、ユーザー提供のセマンティックデータベースを動的にクエリして、現実的なフロアプランとオブジェクト配置を生成する。出力はIsaac SimやGazeboで読み込み可能な完全インタラクティブな3Dワールドであり、固定の3Dモデルデータベースに依存しない。

2. 先行研究と比べてどこがすごい?

既存のEmbodied AI向けシミュレーション環境生成手法は、現実性とシミュレーション可能性のバランスが取れていないことが多い。D3D-GENは、ドメインエージェントとRAGパイプラインを組み合わせることで、ドメイン知識の収集と環境合成を自動化し、ユーザーが迅速にドメイン接地されたインタラクティブな3Dワールドを生成できる点が新しい。また、固定の3Dモデルデータベースに依存せず、ユーザー提供のセマンティックデータベースを動的に利用するため、拡張や変更が容易である。

3. 技術・手法の肝は?

手法の核は、ドメインエージェントによるドメイン知識の自動収集と、その知識を接地したRAGパイプラインである。ドメインエージェントは公開データを収集し、永続的なドメインデータベースを構築する。RAGパイプラインは、このドメインデータベースとユーザー提供のセマンティックデータベースを動的にクエリし、現実的なフロアプランとオブジェクト配置を生成する。これにより、固定の3Dモデルデータベースに依存せず、ドメインに特化した環境を生成できる。

4. どうやって有効だと検証した?

室内住宅、病院、オフィスといった複数の一般的なドメインについてデータベースを構築し、各ドメインに対して数十の異なるもっともらしいシミュレーション環境を生成した。また、ローカルWebフロントエンドを提供し、ロボットシミュレーションのための迅速なインタラクティブなワールド生成を容易にした。具体的な定量的評価やユーザースタディについては要旨からは不明。

5. 議論はある?

要旨からは、生成された環境の現実性やシミュレーション可能性の定量的評価、既存手法との比較、社会的ナビゲーションタスクでの有効性などについての議論は不明。また、ドメイン知識の収集におけるバイアスや、生成環境の多様性の限界なども議論されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、シミュレーション環境生成に関する研究(例:3Dフロアプラン生成、オブジェクト配置のための確率的モデル、RAGを用いた生成手法)や、ソーシャルナビゲーションのためのシミュレータ(例:Social Gym、Habitat)などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anh Duc Do, Volodymyr Scherbyna, Tai Duc Nguyen, Spaarsh Thakkar, Zhengcheng Shen, Teham Buiyan, Archan Misra, Linh Kästner

分類: cs.RO, cs.HC

原文アブストラクト

Training and validation of Embodied AI for social navigation critically depends on realistic simulation environments, yet many current approaches fail to find a balance between realism and simulability. We propose D3D-GEN, a novel world generation system that combines a domain agent with a retrieval-augmented generation (RAG) pipeline grounded in that domain. Our system enables users to rapidly generate domain-grounded, fully interactive 3D worlds by automating both the collection of domain knowledge and the synthesis of realistic floorplans and object placements, without dependence on any fixed 3D model database. Given a domain description prompt, the research agent collects publicly accessible domain-specific data and constructs a persistent domain database. Using this database, our RAG pipeline generates plausible floorplans and object placements by dynamically querying a user-provided semantic database, which can be easily extended or modified. The output is a fully interactive 3D world loadable by the popular simulators Isaac Sim and Gazebo. With our approach, we have built databases for several common domains (indoor residential, hospital, office) and generated dozens of distinct, plausible simulation environments for each domain. We present D3D-GEN with a local web frontend that facilitates rapid, interactive world generation for robot simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI