日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.18557

SynAgent: ソロから協調へのエージェント相乗効果による汎用的な協調ヒューマノイド操作

SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy

シェア:XThreadsFacebookLINEはてブBluesky

単一エージェントの人間と物体のインタラクションデータを活用し、複数ヒューマノイドによる協調操作を実現するフレームワークを提案。相互作用を保ったリターゲティングと分散訓練により、物体形状を超えた汎用的な協調動作を学習する。

詳しい要約

1. どんなもの?

- 協調型 humanoid 操作のための統合フレームワーク SynAgent を提案。 - Solo-to-Cooperative Agent Synergy により、単一エージェントの human-object interaction から複数エージェントの human-object-human シナリオへスキルを転移。 - データ不足、multi-agent coordination の複雑さ、物体間の generalization の課題に対処。 - 協調模倣と trajectory-conditioned control の両方で既存ベースラインを大幅に上回る。

2. 先行研究と比べてどこがすごい?

- 単一 human データから協調行動を蒸留する点が新しい。 - 従来の協調操作はデータ不足や multi-agent coordination の複雑さ、物体形状への汎化に課題。 - SynAgent は単一エージェント事前学習と適応パラダイムにより、豊富な単一 human データを活用。 - 多様な物体形状に汎化し、協調模倣と trajectory-conditioned control で既存手法を上回る。

3. 技術・手法の肝は?

- Interact Mesh を Delaunay tetrahedralization で構築し、human と物体間の空間関係を保持する interaction-preserving retargeting を導入。 - 単一エージェント事前学習と適応パラダイムを提案。decentralized training と multi-agent PPO で協調行動を蒸留。 - conditional VAE による trajectory-conditioned generative policy を開発。 - motion imitation priors からの multi-teacher distillation で訓練し、安定かつ制御可能な物体軌道実行を実現。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - 協調模倣と trajectory-conditioned control の両方で既存ベースラインを大幅に上回ることを示す。 - 多様な物体形状への汎化を確認。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、実機実験の有無などは記述されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として multi-agent PPO、conditional VAE、motion imitation priors、Delaunay tetrahedralization が挙げられる。 - 同分野の定番として human-object interaction、humanoid manipulation、cooperative multi-agent reinforcement learning の論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Yao, Haohan Ma, Hongwen Zhang, Liangjun Xing, Zhile Yang, Yuanjun Guo, Yunlian Sun, Yebin Liu

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Controllable cooperative humanoid manipulation is a fundamental yet challenging problem for embodied intelligence, due to severe data scarcity, complexities in multi-agent coordination, and limited generalization across objects. In this paper, we present SynAgent, a unified framework that enables scalable and physically plausible cooperative manipulation by leveraging Solo-to-Cooperative Agent Synergy to transfer skills from single-agent human-object interaction to multi-agent human-object-human scenarios. To maintain semantic integrity during motion transfer, we introduce an interaction-preserving retargeting method based on an Interact Mesh constructed via Delaunay tetrahedralization, which faithfully maintains spatial relationships among humans and objects. Building upon this refined data, we propose a single-agent pretraining and adaptation paradigm that distills synergistic collaborative behaviors from abundant single-human data through decentralized training and multi-agent PPO. Finally, we develop a trajectory-conditioned generative policy using a conditional VAE, trained via multi-teacher distillation from motion imitation priors to achieve stable and controllable object-level trajectory execution. Extensive experiments demonstrate that SynAgent significantly outperforms existing baselines in both cooperative imitation and trajectory-conditioned control, while generalizing across diverse object geometries. Codes and data will be available after publication. Project Page: https://yw0208.github.io/synagent/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI