日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

レイアウト生成arXiv:2610.15290

Co-DSL:人間とLLMの協調によるレイアウト生成のための再利用可能な空間概念の設計

Co-DSL: Human-LLM Co-design of Reusable Spatial Concepts for Layout Generation

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーとLLMが協調して再利用可能な空間概念を設計し、その概念を組み合わせてレイアウトを生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- ユーザとLLMが協調して再利用可能なspatial conceptを設計し、layout生成を行うフレームワークCo-DSLを提案。 - 第1段階でユーザが概念の説明を入力するとLLMが初期実装を生成し、例示シナリオでの実行を観察して軽量なフィードバックを与えるとLLMが実装ロジックを修正する。 - 第2段階では、ライブラリを前提にLLMが新しいlayout要求を満たすlayout programを記述する。 - layout programの実行はconcept-graph(ライブラリ概念の宣言的合成)をインスタンス化する。

2. 先行研究と比べてどこがすごい?

- 従来の固定操作システムでは捉えにくいlayout patternを、Co-DSLライブラリによりLLMが捕捉できることを5つのspatial layout領域で示した。 - concept-graph表現がLLMによる概念の信頼性の高い合成に必要であることを示した。 - ユーザが再プロンプトなしに高レベルなパラメトリック制御を操作し、関連layoutの分布を探索できる生成的なlayout programをLLMが作成できる。

3. 技術・手法の肝は?

- ユーザとLLMの協調設計:ユーザの説明をLLMが初期実装に変換し、実行挙動への軽量フィードバックでLLMが実装ロジックを改訂。 - layout programはconcept-graphをインスタンス化し、LLMはどの概念が成立すべきかのみを指定。 - ソルバーがそれらの概念を満たすlayoutを探索する。

4. どうやって有効だと検証した?

- 5つのspatial layout領域にわたり、Co-DSLライブラリが従来の固定操作システムでは困難なlayout patternをLLMに捕捉させることを確認。 - concept-graph表現がLLMの概念合成の信頼性に必要であることを示した。 - Co-DSLによりLLMが高レベルなパラメトリック制御を備えた生成的なlayout programを作成し、ユーザが再プロンプトなしに関連layoutの分布を探索できることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、layout generation、program synthesis、human-LLM co-design、spatial concept learning、constraint solving などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: R. Kenny Jones, Jiajun Wu, Maneesh Agrawala

分類: cs.GR, cs.AI, cs.CV

原文アブストラクト

We present Co-DSL, a framework in which users and LLMs co-design reusable spatial concepts for layout generation. In the first stage, our system allows users to create a library of personalized operations. To add a concept, a user provides a description, which the LLM converts into an initial implementation. The user can then observe the concept's execution behavior over example scenarios and provide lightweight feedback to the LLM, which revises the concept's implementation logic. In the second stage, given a library, an LLM can author a layout program that meets a new layout request from a user. Executing a layout program instantiates a concept-graph, a declarative composition of library concepts. In this way, we require the LLM only to specify which concepts should hold, while we use a solver to search for a layout that satisfies them. Across five spatial layout domains, we find that Co-DSL libraries let LLMs capture layout patterns that are challenging for prior fixed-operation systems, and demonstrate that our concept-graph representation is needed for LLMs to reliably compose concepts together. We further find that Co-DSL lets LLMs author generative layout programs that expose high-level parametric controls users can manipulate to explore a distribution of related layouts without re-prompting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI