日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.21622

視覚・触覚・グラフ融合による適応的動的モダリティ拡散方策:マルチエージェントマニピュレーション

ADM-DP: Adaptive Dynamic Modality Diffusion Policy through Vision-Tactile-Graph Fusion for Multi-Agent Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚・触覚・エージェント間位置グラフを適応的に統合する拡散方策を提案し、マルチエージェント協調マニピュレーションの把持安定性と衝突回避を改善した。

詳しい要約

1. どんなもの?

本論文は、マルチエージェントロボットマニピュレーションにおける協調・把持安定性・衝突回避の課題に対処するため、vision・tactile・graph(multi-agent pose)の3モダリティを統合した Adaptive Dynamic Modality Diffusion Policy(ADM-DP)を提案する。 - 4つの主要な革新: - 拡張visual encoder: RGBとpoint-cloudをFeature-wise Linear Modulation(FiLM)で統合 - tactile-guided grasping: Force-Sensitive Resistor(FSR)フィードバックで接触不足を検出し把持を修正 - graph-based collision encoder: 複数エージェントのtool center point(TCP)位置を構造的運動文脈として利用 - Adaptive Modality Attention Mechanism(AMAM): タスク文脈に応じてモダリティを動的に再重み付け - スケーラビリティとモ…

2. 先行研究と比べてどこがすごい?

要旨では、state-of-the-artベースラインと比較して7つのマルチエージェントタスクで12-25%の性能向上を達成したと主張。 - 特に複数の感覚モダリティを必要とするタスクで最大の改善を示し、adaptive fusion戦略の有効性を検証。 - 先行研究との具体的な比較対象や差異の詳細は要旨からは不明。

3. 技術・手法の肝は?

技術の肝は以下の4点。 - enhanced visual encoder: RGBとpoint-cloudをFeature-wise Linear Modulation(FiLM)で変調統合。 - tactile-guided grasping strategy: Force-Sensitive Resistor(FSR)フィードバックにより接触不足を検出し、把持修正をトリガー。 - graph-based collision encoder: 複数エージェントのtool center point(TCP)位置を構造的運動文脈として活用し、空間認識を維持しエージェント間干渉を低減。 - Adaptive Modality Attention Mechanism(AMAM): タスク文脈に応じてモダリティの重みを動的に調整し、柔軟な融合を実現。 - decoupled training paradigm: エージェントが独立ポリシーを学習しつつ空間情報を共有し、相互依存を低く保ちつつ集合的認識を維持。

4. どうやって有効だと検証した?

7つのマルチエージェントタスクで評価を実施。 - state-of-the-artベースラインと比較し、12-25%の性能向上を確認。 - アブレーション研究により、複数の感覚モダリティを必要とするタスクで最大の改善が見られ、adaptive fusion戦略の有効性と多様なマニピュレーションシナリオへの堅牢性を検証。 - 具体的なタスク内容や評価指標の詳細は要旨からは不明。

5. 議論はある?

要旨では、adaptive fusion戦略の有効性と多様なマニピュレーションシナリオへの堅牢性が示されている。 - 限界や今後の課題、議論の詳細については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法の具体的な名称は記載されていない。 - 関連手法として、Diffusion Policy、Vision-Tactile Fusion、Graph Neural Networks(GNN)を用いたマルチエージェント協調、Feature-wise Linear Modulation(FiLM)、Force-Sensitive Resistor(FSR)を用いた触覚フィードバック、Adaptive Modality Attention などが挙げられる。 - 同分野の定番として、Multi-Agent Reinforcement Learning(MARL)や模倣学習(Imitation Learning)の論文を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Enyi Wang, Wen Fan, Dandan Zhang

分類: cs.RO

原文アブストラクト

Multi-agent robotic manipulation remains challenging due to the combined demands of coordination, grasp stability, and collision avoidance in shared workspaces. To address these challenges, we propose the Adaptive Dynamic Modality Diffusion Policy (ADM-DP), a framework that integrates vision, tactile, and graph-based (multi-agent pose) modalities for coordinated control. ADM-DP introduces four key innovations. First, an enhanced visual encoder merges RGB and point-cloud features via Feature-wise Linear Modulation (FiLM) modulation to enrich perception. Second, a tactile-guided grasping strategy uses Force-Sensitive Resistor (FSR) feedback to detect insufficient contact and trigger corrective grasp refinement, improving grasp stability. Third, a graph-based collision encoder leverages shared tool center point (TCP) positions of multiple agents as structured kinematic context to maintain spatial awareness and reduce inter-agent interference. Fourth, an Adaptive Modality Attention Mechanism (AMAM) dynamically re-weights modalities according to task context, enabling flexible fusion. For scalability and modularity, a decoupled training paradigm is employed in which agents learn independent policies while sharing spatial information. This maintains low interdependence between agents while retaining collective awareness. Across seven multi-agent tasks, ADM-DP achieves 12-25% performance gains over state-of-the-art baselines. Ablation studies show the greatest improvements in tasks requiring multiple sensory modalities, validating our adaptive fusion strategy and demonstrating its robustness for diverse manipulation scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI