拡散ポリシー/双腕操作/移動操作2026/7/1arXiv:2607.11884

フレーム混合ポリシー：双腕移動操作のためのマルチフレーム行動ノイズ除去

Mixture of Frames Policy: Multi-Frame Action Denoising for Bimanual Mobile Manipulation

拡散ベースの視覚運動ポリシーにおいて、複数の座標フレームで同期して行動ノイズ除去を行う新しい手法を提案し、シミュレーションと実機の双腕移動操作タスクで性能を実証した。

詳しい要約

1. どんなもの？

Mixture of Frames Policy (MoF) は、拡散ベースの視覚運動ポリシーにおいて、複数の座標フレーム（例：エンドエフェクタフレーム、ベース整列フレーム）で同期してアクションのノイズ除去を行う手法。単一の正準フレームで拡散状態を保持し、それをタスク関連フレームに再表現し、フレーム特化のデノイザーでノイズ予測を行い、正準フレームに融合する。SE(3)アクション表現に列ベースの6D回転表現を導入し、ノイズを含む中間状態でも正確で微分可能なフレーム変換を可能にする。

2. 先行研究と比べてどこがすごい？

従来の拡散ベースの視覚運動ポリシーは単一の事前定義されたアクションフレームに固定され、そのフレームで複雑なアクション分布をモデル化する必要があった。MoFは複数フレームを同時に使用し、フレーム特化のデノイザーを適用することで、各フレームでの分布の複雑さを軽減する。また、ノイズを含む中間状態でのフレーム変換を可能にする新しい回転表現を導入し、従来のSO(3)多様体上の制約を回避している。

3. 技術・手法の肝は？

MoFは単一の正準拡散状態を維持し、それを複数のタスク関連フレームに再表現する。各フレームで専用のデノイザーがノイズ予測を行い、それらを正準フレームに融合する。中間のノイズ状態でのフレーム変換を可能にするため、SE(3)アクション表現に列ベースの6D回転表現を使用する。これにより、ノイズ回転がSO(3)多様体上にある必要がなく、正確で微分可能な変換が可能になる。

4. どうやって有効だと検証した？

9つのシミュレーション両腕操作タスクで評価し、最適なアクションフレームがタスク依存であることを示し、MoFがオラクルフレーム選択や標準的なMixture-of-Experts (MoE)ベースラインを上回ることを実証。さらに、2つの実世界の両腕移動操作タスクで評価し、すべての構成単一フレームベースラインを上回る性能を示した。

5. 議論はある？

要旨からは、フレームの選択方法や融合の重みの学習方法、計算コスト、実世界での一般化の限界などについての議論は不明。また、6D回転表現の理論的正当性や、他のタスクへの適用可能性についての考察も要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、拡散ベースの視覚運動ポリシー（Diffusion Policy）やMixture-of-Experts (MoE)ベースラインが挙げられる。また、両腕操作や移動操作に関する既存研究も関連する。具体的な論文タイトルは要旨にないため、同分野の定番としてDiffusion PolicyやMoE関連の論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dian Wang, Jisang Park, Xiaomeng Xu, Han Zhang, Shuran Song, Jeannette Bohg

分類: cs.RO

原文アブストラクト

Robotic manipulation is inherently multi-frame: local actions may be simple in an end-effector frame, while transport, upright-object handling, and whole-body coordination are better represented in a base-aligned frame. However, modern diffusion-based visuomotor policies typically commit to a single predefined action frame, forcing one denoiser to model action distributions that are often unnecessarily complex in that frame. We propose Mixture of Frames Policy (MoF), a diffusion policy that performs synchronized action denoising across multiple coordinate frames. MoF maintains a single canonical diffusion state, re-expresses it in several task-relevant frames, applies frame-specialized denoisers, and fuses their noise predictions back in the canonical frame. To make this possible for intermediate noisy diffusion states, we introduce a column-based 6D rotation representation within an SE(3) action parameterization that supports exact, differentiable frame transformations without requiring noisy rotations to lie on the SO(3) manifold. Across nine simulated bimanual manipulation tasks, we show that the best action frame is task-dependent and that MoF improves over oracle frame selection and standard Mixture-of-Experts (MoE) baselines. We further evaluate MoF on two real-world bimanual mobile manipulation tasks, demonstrating that it outperforms all constituent single-frame baselines. Project homepage: https://mofpo.github.io

arXivで原文を読む →arXiv概要ページ

← 論文一覧