マニピュレーション2025/6/1arXiv:2506.06196

知覚と行動をつなぐ：ロボットの汎化のための空間的に接地された中間表現

Bridging Perception and Action: Spatially-Grounded Mid-Level Representations for Robot Generalization

物体中心性・姿勢認識・深度認識という中間表現を専門家エンコーダで学習し、その混合専門家ポリシーで実世界の両手巧み操作タスクの汎化性能を向上させた研究。

詳しい要約

1. どんなもの？

- 実世界の双腕 dexterous manipulation タスクを対象に、spatially grounded な mid-level representation を policy learning に組み込む研究 - object-centricity、pose-awareness、depth-awareness の3軸で mid-level representation を分析 - 解釈可能な mid-level representation を supervised learning で specialist encoder に学習させ、diffusion policy の入力として利用 - 複数の specialist expert を組み合わせる mixture-of-experts policy architecture を提案

2. 先行研究と比べてどこがすごい？

- language-grounded baseline と比較して平均成功率が 11% 高い - 標準的な diffusion policy baseline と比較して平均成功率が 24% 高い - 広い知覚タスクだけでなく、より granular で actionable な representation で policy を接地することの重要性を示す - 単一の mid-level representation ではなく複数を expert として統合する点が特徴

3. 技術・手法の肝は？

- object-centricity、pose-awareness、depth-awareness の mid-level representation を supervised learning で specialist encoder に学習 - その encoder 出力を diffusion policy への入力として双腕 dexterous manipulation を実行 - 各 mid-level representation に対応する specialist expert を mixture-of-experts で統合する policy architecture を提案 - weighted imitation learning において mid-level representation を policy action の supervision signal として利用

4. どうやって有効だと検証した？

- 実世界の双腕 dexterous manipulation タスクで評価 - language-grounded baseline および標準 diffusion policy baseline との成功率比較を実施 - mid-level representation を supervision signal に用いることで policy の追従精度が向上し、追加で 10% の性能改善を確認 - 詳細なタスク設定や被験者数などは要旨からは不明

5. 議論はある？

- 広い知覚タスクだけでなく granular で actionable な representation による接地の重要性を主張 - mid-level representation を supervision に使うことで precision が向上することを示唆 - 各 mid-level representation の寄与や expert 統合の詳細、失敗事例、限界については要旨からは不明

6. 次に読むべき論文は？

- language-grounded baseline に関する研究 - 標準的な diffusion policy に関する研究 - mixture-of-experts policy に関する研究 - weighted imitation learning に関する研究 - object-centric representation、pose estimation、depth estimation を用いた robot policy learning の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jonathan Yang, Chuyuan Kelly Fu, Dhruv Shah, Dorsa Sadigh, Fei Xia, Tingnan Zhang

分類: cs.RO

原文アブストラクト

In this work, we investigate how spatially grounded auxiliary representations can provide both broad, high-level grounding as well as direct, actionable information to improve policy learning performance and generalization for dexterous tasks. We study these mid-level representations across three critical dimensions: object-centricity, pose-awareness, and depth-awareness. We use these interpretable mid-level representations to train specialist encoders via supervised learning, then feed them as inputs to a diffusion policy to solve dexterous bimanual manipulation tasks in the real world. We propose a novel mixture-of-experts policy architecture that combines multiple specialized expert models, each trained on a distinct mid-level representation, to improve policy generalization. This method achieves an average success rate that is 11% higher than a language-grounded baseline and 24 percent higher than a standard diffusion policy baseline on our evaluation tasks. Furthermore, we find that leveraging mid-level representations as supervision signals for policy actions within a weighted imitation learning algorithm improves the precision with which the policy follows these representations, yielding an additional performance increase of 10%. Our findings highlight the importance of grounding robot policies not only with broad perceptual tasks but also with more granular, actionable representations. For further information and videos, please visit https://mid-level-moe.github.io.

arXivで原文を読む →arXiv概要ページ

知覚と行動をつなぐ：ロボットの汎化のための空間的に接地された中間表現

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell