日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.01583

FreqPolicy: 連続トークンによる周波数自己回帰型視覚運動ポリシー

FreqPolicy: Frequency Autoregressive Visuomotor Policy with Continuous Tokens

シェア:XThreadsFacebookLINEはてブBluesky

動作を周波数領域で表現し、低周波から高周波へ段階的に自己回帰生成する連続トークン型の視覚運動ポリシーを提案。2D/3D操作ベンチマークで精度と効率を両立。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの visuomotor policy 学習フレームワーク「FreqPolicy」 - 行動を frequency domain で表現し、階層的な frequency 成分を段階的にモデル化する新パラダイム - 低周波は大局的な動き、高周波は局所的な細部を表すという観察に基づく - 連続潜在表現(continuous tokens)を導入し、action space の滑らかさ・連続性を保持 - 2D/3D の多様なベンチマークで精度・効率とも既存手法を上回ると報告

2. 先行研究と比べてどこがすごい?

- 既存手法は action representation と network architecture の本質的限界から不十分と主張 - frequency domain 表現により運動の構造(低周波=大局、高周波=局所)を効果的に捉える点が新規 - タスク難易度に応じ frequency band ごとのモデリング精度を変える progressive な枠組み - continuous latent により action space の滑らかさ・連続性を維持し精度を向上 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- frequency domain で action を表現し、階層的 frequency 成分を逐次的にモデル化 - autoregressive な枠組みで frequency 成分を段階的に生成 - continuous tokens(連続潜在表現)を導入し action space の連続性・滑らかさを担保 - 低周波→高周波の順に大局から局所細部へモデリングする設計 - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 多様な 2D および 3D のロボットマニピュレーション benchmark で実験 - 既存手法と比較し accuracy と efficiency の両面で優位と報告 - 具体的な benchmark 名・指標・数値は要旨からは不明 - code は https://github.com/4DVLab/Freqpolicy で公開

5. 議論はある?

- frequency band ごとのモデリング精度の配分が難易度適応の鍵という主張 - continuous tokens が精度向上に寄与すると述べるが、その限界や失敗事例は要旨からは不明 - 一般化(generalized robotic manipulation)への可能性を主張 - 計算コストやリアルタイム性、実機での検証に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 同分野の定番として diffusion policy、action chunking transformer(ACT)、behavior cloning 系 visuomotor policy を次に読む候補として挙げる - frequency domain 表現を用いる模倣学習・action representation 関連研究 - autoregressive policy 学習および continuous token 表現に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiming Zhong, Yumeng Liu, Chuyang Xiao, Zemin Yang, Youzhuo Wang, Yufei Zhu, Ye Shi, Yujing Sun, Xinge Zhu, Yuexin Ma

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Learning effective visuomotor policies for robotic manipulation is challenging, as it requires generating precise actions while maintaining computational efficiency. Existing methods remain unsatisfactory due to inherent limitations in the essential action representation and the basic network architectures. We observe that representing actions in the frequency domain captures the structured nature of motion more effectively: low-frequency components reflect global movement patterns, while high-frequency components encode fine local details. Additionally, robotic manipulation tasks of varying complexity demand different levels of modeling precision across these frequency bands. Motivated by this, we propose a novel paradigm for visuomotor policy learning that progressively models hierarchical frequency components. To further enhance precision, we introduce continuous latent representations that maintain smoothness and continuity in the action space. Extensive experiments across diverse 2D and 3D robotic manipulation benchmarks demonstrate that our approach outperforms existing methods in both accuracy and efficiency, showcasing the potential of a frequency-domain autoregressive framework with continuous tokens for generalized robotic manipulation.Code is available at https://github.com/4DVLab/Freqpolicy

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI