日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.01819

ManiFlow:一貫性フロー学習による汎用ロボットマニピュレーションポリシー

ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training

シェア:XThreadsFacebookLINEはてブBluesky

視覚・言語・固有感覚入力を条件に、一貫性フロー学習で1〜2ステップの高精度なロボット動作生成を実現する汎用模倣学習ポリシーを提案。

詳しい要約

1. どんなもの?

- ManiFlowは、多様なvisual・language・proprioceptive入力を条件として、高次元の正確な行動を生成する汎用ロボットマニピュレーション向けのvisuomotor imitation learning policy。 - flow matchingとconsistency trainingを組み合わせ、1〜2回の推論ステップで高品質なdexterous action生成を実現する。 - DiT-Xと呼ぶdiffusion transformerアーキテクチャを提案し、adaptive cross-attentionとAdaLN-Zero conditioningでaction tokensと多modal観測の細粒度な特徴interactionを可能にする。

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(比較対象の先行研究が明示されていない)。 - ただし、1〜2推論ステップでの高品質なdexterous action生成を可能にする点、およびDiT-Xによる多modal入力の効率的な扱いを特徴として主張している。 - 多様なsimulation benchmarksでの一貫した改善と、real-worldタスクでの成功率がほぼ倍増したと報告している。

3. 技術・手法の肝は?

- flow matchingにconsistency trainingを組み合わせ、少ない推論ステップ(1〜2回)で高次元行動を生成する点が肝。 - DiT-X: adaptive cross-attentionとAdaLN-Zero conditioningを備えたdiffusion transformerで、action tokensとvisual・language・proprioceptiveの多modal観測間のfine-grained feature interactionsを実現。 - 多様なvisual・language・proprioceptive入力を条件としたvisuomotor imitation learning policyとして構成。

4. どうやって有効だと検証した?

- 多様なsimulation benchmarksで一貫した改善を確認。 - real-worldタスクにおいて、single-arm・bimanual・humanoidの各ロボット設定で成功率がほぼ倍増したと報告。 - 新しい物体や背景変化に対するrobustnessとgeneralizability、および大規模データセットでのscaling capabilityも評価で示している。

5. 議論はある?

- 要旨からは不明(限界や議論点は明示されていない)。 - 主張として、novel objectsやbackground changesへのrobustness・generalizability、およびlarger-scale datasetsでのscaling capabilityが示されている。

6. 次に読むべき論文は?

- 要旨からは不明(参照・比較されている研究が明示されていない)。 - 関連手法として、flow matching、consistency training、diffusion transformer(DiT)、visuomotor imitation learningの代表的文献を次に読む候補として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ge Yan, Jiyue Zhu, Yuquan Deng, Shiqi Yang, Ri-Zhao Qiu, Xuxin Cheng, Marius Memmel, Ranjay Krishna, Ankit Goyal, Xiaolong Wang, Dieter Fox

分類: cs.RO

原文アブストラクト

This paper introduces ManiFlow, a visuomotor imitation learning policy for general robot manipulation that generates precise, high-dimensional actions conditioned on diverse visual, language and proprioceptive inputs. We leverage flow matching with consistency training to enable high-quality dexterous action generation in just 1-2 inference steps. To handle diverse input modalities efficiently, we propose DiT-X, a diffusion transformer architecture with adaptive cross-attention and AdaLN-Zero conditioning that enables fine-grained feature interactions between action tokens and multi-modal observations. ManiFlow demonstrates consistent improvements across diverse simulation benchmarks and nearly doubles success rates on real-world tasks across single-arm, bimanual, and humanoid robot setups with increasing dexterity. The extensive evaluation further demonstrates the strong robustness and generalizability of ManiFlow to novel objects and background changes, and highlights its strong scaling capability with larger-scale datasets. Our website: maniflow-policy.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI