日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット組立arXiv:2511.02162

3D生成AIと視覚言語モデルによるテキストからの多部品ロボット組立

Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models

シェア:XThreadsFacebookLINEはてブBluesky

3D生成AIと視覚言語モデルを組み合わせ、自然言語から多部品オブジェクトをロボットで組み立てるパイプラインを提案。VLMが形状と機能を推論して部品割り当てを行い、ユーザーは対話的に修正できる。

詳しい要約

1. どんなもの?

- テキストプロンプトから3D generative AIで生成したmeshを、ロボットが組み立て可能な多部品3Dモデルへ変換するパイプライン - 対象は複数種類の部品(structural componentsとpanel components)からなる物体の組立 - VLM(vision-language model)を組み合わせ、自然言語からロボット組立までを一貫して扱う - ユーザは会話的フィードバックで部品割当を修正でき、人間の制御とagencyを確保

2. 先行研究と比べてどこがすごい?

- 従来の3D generative AIは単一物体の生成が中心で、複数component typeを要する物体の生成は困難だった - 本手法はVLMのzero-shotなmulti-modal reasoningでgeometryとfunctionalityを推論し、meshをmulti-componentモデルへ分解 - ルールベースやランダム割当と比較し、ユーザ選好はVLM生成割当が90.6%、rule-basedが59.4%、randomが2.5% - 会話的フィードバックによる割当修正を可能にし、生成AIとロボティクスを組み合わせた物理物体制作の人間制御を高める

3. 技術・手法の肝は?

- 3D generative AIでテキストからmeshを生成 - VLMがgeometryとfunctionalityに関するzero-shot multi-modal reasoningを行い、meshのどの領域にpanel componentsが必要かを判断 - 事前定義されたstructural componentsとpanel componentsを用いてmulti-component 3Dモデルへ分解 - 分解結果をロボット組立パイプラインへ渡す - ユーザは会話的フィードバックでcomponent assignmentsを洗練可能

4. どうやって有効だと検証した?

- テスト対象物体について、VLM生成のcomponent assignmentsをユーザが評価 - ユーザ選好はVLM生成が90.6%、rule-basedが59.4%、randomが2.5% - これによりVLMがgeometryとfunctionalityに基づきpanel componentsの要否を判断できることを示す - ロボット組立自体の成功率や物理組立の詳細評価は要旨からは不明

5. 議論はある?

- VLMによるzero-shot推論で部品割当を決定できる可能性を示す一方、評価はユーザ選好が中心 - 実際のロボット組立の成否、精度、頑健性に関する議論は要旨からは不明 - 会話的フィードバックによる人間制御とagencyの向上が利点として挙げられる - 事前定義されたstructural/panel componentsへの依存や、対象物体の範囲に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 3D generative AIによるtext-to-3D生成(例: text-to-mesh生成手法) - VLMを用いたzero-shot multi-modal reasoningに関する研究 - ロボット組立のためのmulti-component 3Dモデル分解・組立計画手法 - 人間とAIの会話的フィードバックによる設計支援(conversational feedback)関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alexander Htet Kyaw, Richa Gupta, Dhruv Shah, Anoop Sinha, Kory Mathewson, Stefanie Pender, Sachin Chitta, Yotto Koga, Faez Ahmed, Lawrence Sass, Randall Davis

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

Advances in 3D generative AI have enabled the creation of physical objects from text prompts, but challenges remain in creating objects involving multiple component types. We present a pipeline that integrates 3D generative AI with vision-language models (VLMs) to enable the robotic assembly of multi-component objects from natural language. Our method leverages VLMs for zero-shot, multi-modal reasoning about geometry and functionality to decompose AI-generated meshes into multi-component 3D models using predefined structural and panel components. We demonstrate that a VLM is capable of determining which mesh regions need panel components in addition to structural components, based on the object's geometry and functionality. Evaluation across test objects shows that users preferred the VLM-generated assignments 90.6% of the time, compared to 59.4% for rule-based and 2.5% for random assignment. Lastly, the system allows users to refine component assignments through conversational feedback, enabling greater human control and agency in making physical objects with generative AI and robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI