日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.24055

言語条件付き表現とエキスパート混合方策による堅牢なマルチタスクロボットマニピュレーション

Language-Conditioned Representations and Mixture-of-Experts Policy for Robust Multi-Task Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語指示で視覚特徴を接地する表現モジュールと、タスクごとに特化するスパースなエキスパート混合方策を組み合わせ、マルチタスク模倣学習における知覚の曖昧さとタスク競合を緩和した。実機で平均成功率79%を達成。

詳しい要約

1. どんなもの?

- 多タスクロボットマニピュレーションのための枠組み - Language-Conditioned Visual Representation (LCVR) モジュール - Language-conditioned Mixture-of-Experts Density Policy (LMoE-DP) - imitation learning における知覚的曖昧性とタスク競合の緩和を狙う - 実ロボットベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 先行手法の Action Chunking with Transformers (ACT) や Diffusion Policy (DP) に対し改善 - LCVR により ACT で 33.75%、DP で 25% の成功率向上 - フレームワーク全体で平均成功率 79%、advanced baseline を 21% 上回る - 意味的グラウンディングと expert 特化の組み合わせが有効と示す

3. 技術・手法の肝は?

- LCVR: 言語指示で視覚特徴を ground し、視覚的に類似したタスクを区別 - LMoE-DP: sparse expert アーキテクチャで多峰的 action 分布に特化 - gradient modulation により学習を安定化 - 知覚的曖昧性とタスク競合の二問題にそれぞれ対応

4. どうやって有効だと検証した?

- 実ロボットベンチマークで検証 - LCVR 単体の効果を ACT と DP への適用で測定 - フレームワーク全体の平均成功率と advanced baseline との比較 - 具体的タスクや試行数は要旨からは不明

5. 議論はある?

- 意味的グラウンディングと expert 特化の組み合わせが頑健で効率的な多タスク操作を可能にすると主張 - 限界や失敗事例、計算コストの議論は要旨からは不明 - expert 数や gradient modulation の詳細な感度分析は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) - Diffusion Policy (DP) - Mixture-of-Experts を用いた方策学習の関連研究 - 言語条件付き視覚表現 (language-conditioned visual representation) の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiucheng Zhang, Yang Jiang, Hongwei Qing, Jiashuo Bai

分類: cs.RO, cs.LG

原文アブストラクト

Perceptual ambiguity and task conflict limit multitask robotic manipulation via imitation learning. We propose a framework combining a Language-Conditioned Visual Representation (LCVR) module and a Language-conditioned Mixture-ofExperts Density Policy (LMoE-DP). LCVR resolves perceptual ambiguities by grounding visual features with language instructions, enabling differentiation between visually similar tasks. To mitigate task conflict, LMoE-DP uses a sparse expert architecture to specialize in distinct, multimodal action distributions, stabilized by gradient modulation. On real-robot benchmarks, LCVR boosts Action Chunking with Transformers (ACT) and Diffusion Policy (DP) success rates by 33.75% and 25%, respectively. The full framework achieves a 79% average success, outperforming the advanced baseline by 21%. Our work shows that combining semantic grounding and expert specialization enables robust, efficient multi-task manipulation

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI