日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.00833

HumanoidGen: LLM推論による双腕巧みな操作のためのデータ生成

HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

LLM推論と原子操作を活用し、双腕・巧みな手を持つヒューマノイドロボットの操作タスクと実演データを自動生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- 両腕と多指ハンドを備えた humanoid robot 向けの、bimanual dexterous manipulation のための自動タスク生成・デモ収集フレームワーク HumanoidGen を提案した論文。 - 既存の robotics dataset や simulation benchmark は主に robot-arm platform 向けで、dual arms と dexterous hands を備えた humanoid 向けの simulation タスクや高品質な demonstration が不足しているという課題に対処する。 - atomic dexterous operations と LLM reasoning を組み合わせ、relational constraints を生成することで、autonomous なデータ収集を可能にする。 - 実験用に augmented scenarios を備えた新しい benchmark も作成している。

2. 先行研究と比べてどこがすごい?

- 先行研究の robotics dataset・simulation benchmark は主に robot-arm platform を対象としており、dual arms と dexterous hands を備えた humanoid 向けの simulation タスクや高品質な demonstration が著しく不足している。 - 本論文は、そうした humanoid 向け bimanual dexterous manipulation のデータ生成・デモ収集の空白を埋める点が特徴。 - bimanual dexterous manipulation は arm movements と hand operations の協調が必要で複雑なため、autonomous なデータ収集が困難であるという課題に対し、atomic operations と LLM reasoning を活用する枠組みを提示している。 - 具体的な既存手法との定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- atomic dexterous operations を基盤とし、assets と dexterous hands の両方に spatial annotations を付与する。 - LLM planner を用い、object affordances と scenes に基づいて arm movements のための実行可能な spatial constraints の連鎖を生成する。 - planning 能力を高めるため、Monte Carlo tree search の variant を導入し、long-horizon tasks や annotation 不足に対応して LLM reasoning を強化する。 - これらにより relational constraints を生成し、bimanual dexterous manipulation の自動タスク作成と demonstration collection を実現する。

4. どうやって有効だと検証した?

- augmented scenarios を備えた新しい benchmark を作成し、収集データの品質を評価する。 - 実験結果として、2D および 3D の diffusion policies の性能が、生成された dataset の規模に応じて scale することを示している。 - 具体的な評価指標や比較対象の詳細は要旨からは不明。

5. 議論はある?

- bimanual dexterous manipulation の複雑さ(arm movements と hand operations の協調)に起因する autonomous データ収集の困難さを、atomic operations と LLM reasoning で緩和する点が議論の中心。 - long-horizon tasks や annotation 不足に対して Monte Carlo tree search の variant で LLM reasoning を強化する設計上の工夫が述べられている。 - 限界や失敗事例、生成データの質に関する詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、2D diffusion policy および 3D diffusion policy(実験で性能スケーリングを確認)、Monte Carlo tree search、LLM planner が挙げられる。 - 同分野の定番として、bimanual manipulation の imitation learning や dexterous hand の demonstration collection に関する研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhi Jing, Siyuan Yang, Jicong Ao, Ting Xiao, Yu-Gang Jiang, Chenjia Bai

分類: cs.RO, cs.AI

原文アブストラクト

For robotic manipulation, existing robotics datasets and simulation benchmarks predominantly cater to robot-arm platforms. However, for humanoid robots equipped with dual arms and dexterous hands, simulation tasks and high-quality demonstrations are notably lacking. Bimanual dexterous manipulation is inherently more complex, as it requires coordinated arm movements and hand operations, making autonomous data collection challenging. This paper presents HumanoidGen, an automated task creation and demonstration collection framework that leverages atomic dexterous operations and LLM reasoning to generate relational constraints. Specifically, we provide spatial annotations for both assets and dexterous hands based on the atomic operations, and perform an LLM planner to generate a chain of actionable spatial constraints for arm movements based on object affordances and scenes. To further improve planning ability, we employ a variant of Monte Carlo tree search to enhance LLM reasoning for long-horizon tasks and insufficient annotation. In experiments, we create a novel benchmark with augmented scenarios to evaluate the quality of the collected data. The results show that the performance of the 2D and 3D diffusion policies can scale with the generated dataset. Project page is https://openhumanoidgen.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI