日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.09144

潜在的心の理論:協調マニピュレーションのための分散拡散アーキテクチャ

Latent Theory of Mind: A Decentralized Diffusion Architecture for Cooperative Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

各ロボットが自己埋め込みと合意埋め込みを保持し、層理論に基づく損失で訓練する分散拡散政策を提案。明示的通信なしでも協調作業を可能にする。

詳しい要約

1. どんなもの?

- 協調ロボットマニピュレーションのための分散型 diffusion policy アーキテクチャ「LatentToM」を提案する研究。 - 各マニピュレータが独自の知覚・計算を持ち、明示的通信あり/なしで共通タスク目標に向けて協調する。 - 各エージェントは ego embedding(ロボット固有)と consensus embedding(両ロボット共通になるよう学習)の2つの潜在表現を保持する。 - 実行は完全分散が可能で、通信なしの場合は他ロボットの行動とそのシーンへの影響を観測することで暗黙的に情報交換する。

2. 先行研究と比べてどこがすごい?

- ハードウェア実験で naive な分散型 diffusion baseline を上回った。 - bi-manual manipulation における state-of-the-art の centralized diffusion policy と同等の性能を示した。 - 明示的通信なしでも協調可能な点、および centralized training・distributed execution を両立する点が特徴。 - 先行研究との具体的な比較詳細は要旨からは不明。

3. 技術・手法の肝は?

- 各エージェントが ego embedding と consensus embedding を保持し、consensus embedding は異なる sensor stream や pose があっても両ロボットで共通になるよう学習。 - 各ロボットは consensus embedding から他ロボットの ego embedding を推論する decoder を学習(潜在空間における theory of mind)。 - 学習は centralized に行い、全 policy の consensus encoder を sheaf theory に着想を得た損失で監督。 - 具体的には first-order cohomology loss で consensus embedding の sheaf 整合的な整列を強制。 - consensus embedding の表現力を保つため、theory of mind に基づく構造制約と directional consensus mechanism を提案。 - 通信ありの実行では consensus em…

4. どうやって有効だと検証した?

- ハードウェア実験を実施。 - naive な分散型 diffusion baseline と比較し、LatentToM が優位であることを示した。 - bi-manual manipulation における state-of-the-art の centralized diffusion policy と同等の性能を示した。 - 具体的なタスク・指標・被験者数などの詳細は要旨からは不明。

5. 議論はある?

- 明示的通信なしの場合、情報は他ロボットの行動とシーンへの影響の観測を通じて暗黙的に交換される。 - 通信ありの場合は consensus embedding を推論ステップごとに1回共有し sheaf Laplacian で整列する。 - 通信なしと通信ありの性能差や限界、スケーラビリティ、sheaf 制約の影響などの議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及された naive な分散型 diffusion baseline および bi-manual manipulation の state-of-the-art centralized diffusion policy。 - 理論的基盤として sheaf theory(first-order cohomology loss、sheaf Laplacian)。 - 関連概念として theory of mind、diffusion policy、decentralized/centralized training。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengyang He, Gadiel Sznaier Camps, Xu Liu, Mac Schwager, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

We present Latent Theory of Mind (LatentToM), a decentralized diffusion policy architecture for collaborative robot manipulation. Our policy allows multiple manipulators with their own perception and computation to collaborate with each other towards a common task goal with or without explicit communication. Our key innovation lies in allowing each agent to maintain two latent representations: an ego embedding specific to the robot, and a consensus embedding trained to be common to both robots, despite their different sensor streams and poses. We further let each robot train a decoder to infer the other robot's ego embedding from their consensus embedding, akin to theory of mind in latent space. Training occurs centrally, with all the policies' consensus encoders supervised by a loss inspired by sheaf theory, a mathematical theory for clustering data on a topological manifold. Specifically, we introduce a first-order cohomology loss to enforce sheaf-consistent alignment of the consensus embeddings. To preserve the expressiveness of the consensus embedding, we further propose structural constraints based on theory of mind and a directional consensus mechanism. Execution can be fully distributed, requiring no explicit communication between policies. In which case, the information is exchanged implicitly through each robot's sensor stream by observing the actions of the other robots and their effects on the scene. Alternatively, execution can leverage direct communication to share the robots' consensus embeddings, where the embeddings are shared once during each inference step and are aligned using the sheaf Laplacian. In our hardware experiments, LatentToM outperforms a naive decentralized diffusion baseline, and shows comparable performance with a state-of-the-art centralized diffusion policy for bi-manual manipulation. Project website: https://stanfordmsl.github.io/LatentToM/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI