日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2508.07770

AgentWorld: 家庭内移動マニピュレーションのための対話型シミュレーションプラットフォーム

AgentWorld: An Interactive Simulation Platform for Scene Construction and Mobile Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

家庭内での移動マニピュレーションを学習するため、自動シーン構築と遠隔操作によるデータ収集を統合したシミュレーションプラットフォームを提案し、模倣学習手法のベンチマークを通じてsim-to-real転移への有効性を示した。

詳しい要約

1. どんなもの?

- AgentWorldは家庭内mobile manipulation能力の開発向け対話型シミュレーションプラットフォーム。 - 自動scene constructionを統合:layout generation、semantic asset placement、visual material configuration、physics simulation。 - dual-mode teleoperation systemを備え、wheeled baseとhumanoid locomotion policiesの両方を支援しデータ収集可能。 - AgentWorld Datasetはliving room、bedroom、kitchenにわたり、pick-and-placeやpush-pull等のprimitive actionsからserve drinksやheat up food等のmultistage activitiesまで多様なタスクを収録。

2. 先行研究と比べてどこがすごい?

- 要旨からは不明。 - ただしscene constructionの自動化とdual-mode teleoperation、多様な家庭タスクのDataset、複数imitation learning手法のbenchmarkingを一体で提供する点を統合システムとして強調。 - sim-to-real transferの有効性を示すbenchmarkingを含む点が特徴として述べられている。

3. 技術・手法の肝は?

- 自動scene construction:layout generation、semantic asset placement、visual material configuration、physics simulationを組み合わせる。 - dual-mode teleoperation system:wheeled baseとhumanoid locomotion policiesに対応し、データ収集を可能にする。 - AgentWorld Dataset:primitive actionsとmultistage activitiesをliving room、bedroom、kitchenで収集。 - imitation learning手法(behavior cloning、action chunking transformers、diffusion policies、vision-language-action models)でbenchmarking。

4. どうやって有効だと検証した?

- AgentWorld Datasetを用い、behavior cloning、action chunking transformers、diffusion policies、vision-language-action modelsを含むimitation learning手法を広範にbenchmarking。 - その結果によりDatasetのsim-to-real transferに対する有効性を示したと述べている。 - 具体的な評価指標や実験設定は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 複雑な家庭環境におけるスケーラブルなrobotic skill acquisitionのための包括的solutionを提供し、simulation-based trainingとreal-world deploymentのgapを橋渡しすると主張。 - 限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- behavior cloning - action chunking transformers - diffusion policies - vision-language-action models - sim-to-real transfer - mobile manipulation - humanoid locomotion policies

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yizheng Zhang, Zhenjun Yu, Jiaxin Lai, Cewu Lu, Lei Han

分類: cs.RO

原文アブストラクト

We introduce AgentWorld, an interactive simulation platform for developing household mobile manipulation capabilities. Our platform combines automated scene construction that encompasses layout generation, semantic asset placement, visual material configuration, and physics simulation, with a dual-mode teleoperation system supporting both wheeled bases and humanoid locomotion policies for data collection. The resulting AgentWorld Dataset captures diverse tasks ranging from primitive actions (pick-and-place, push-pull, etc.) to multistage activities (serve drinks, heat up food, etc.) across living rooms, bedrooms, and kitchens. Through extensive benchmarking of imitation learning methods including behavior cloning, action chunking transformers, diffusion policies, and vision-language-action models, we demonstrate the dataset's effectiveness for sim-to-real transfer. The integrated system provides a comprehensive solution for scalable robotic skill acquisition in complex home environments, bridging the gap between simulation-based training and real-world deployment. The code, datasets will be available at https://yizhengzhang1.github.io/agent_world/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI