日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.21351

EquAct: 開ループロボット操作のためのSE(3)同変マルチタスクトランスフォーマ

EquAct: An SE(3)-Equivariant Multi-Task Transformer for Open-Loop Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語条件付き3D操作ポリシーにSE(3)同変性を組み込み、シーン変換に対する空間汎化性能を向上させたマルチタスクトランスフォーマを提案。

詳しい要約

1. どんなもの?

- 言語条件付き・マルチタスクの3Dオープンループロボット操作ポリシーを、実演から学習するTransformerベースの手法。 - 自然言語指示と3D観測を同時に処理する標準Transformerは、シーンのSE(3)変換に対する幾何的一貫性の保証を持たない。 - 本論文はSE(3) equivarianceをポリシーと言語が共有する構造特性と捉え、SE(3)-equivariantなマルチタスクTransformer「EquAct」を提案。 - 理論的にSE(3) equivariantであることが保証される。

2. 先行研究と比べてどこがすごい?

- 標準Transformerは言語条件付き3D操作ポリシーを学習できるが、SE(3)変換下での幾何的一貫性を保証できず、挙動が予測不能になりうる。 - EquActはSE(3) equivarianceを理論的に保証し、SE(3)/SE(2)のシーン摂動下での空間汎化を狙う点が異なる。 - 18のRLBenchシミュレーションタスク(SE(3)・SE(2)摂動)と4つの実機タスクでstate-of-the-artを達成したと報告。

3. 技術・手法の肝は?

- SE(3)-equivariantなマルチタスクTransformer。 - 構成要素1: 球面Fourier featuresを用いた効率的なSE(3)-equivariant point cloud-based U-net(ポリシー推論用)。 - 構成要素2: 言語条件付け用のSE(3)-invariant Feature-wise Linear Modulation(iFiLM) layers。 - これらにより理論的にSE(3) equivariantであることが保証される。

4. どうやって有効だと検証した?

- 空間汎化能力の評価として、18のRLBenchシミュレーションタスクをSE(3)およびSE(2)のシーン摂動付きでベンチマーク。 - さらに4つの実機(physical)タスクで評価。 - これらのシミュレーション・実機タスクでstate-of-the-artの性能を達成したと報告。

5. 議論はある?

- 要旨からは不明(SE(3)変換下の予測不能挙動への対処が動機として述べられ、理論保証と実験結果が示されるが、限界や議論の詳細は要旨に記載なし)。

6. 次に読むべき論文は?

- RLBench(ベンチマークデータセット/環境) - SE(3)-equivariant point cloud-based U-net - 球面Fourier features - Feature-wise Linear Modulation(FiLM)およびiFiLM - 言語条件付き3D操作ポリシー学習のTransformerベース先行研究(要旨では個別名の参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xupeng Zhu, Yu Qi, Yizhe Zhu, Robin Walters, Robert Platt

分類: cs.RO

原文アブストラクト

Transformer architectures can effectively learn language-conditioned, multi-task 3D open-loop manipulation policies from demonstrations by jointly processing natural language instructions and 3D observations. However, although both the robot policy and language instructions inherently encode rich 3D geometric structures, standard transformers lack built-in guarantees of geometric consistency, often resulting in unpredictable behavior under SE(3) transformations of the scene. In this paper, we leverage SE(3) equivariance as a key structural property shared by both policy and language, and propose EquAct-a novel SE(3)-equivariant multi-task transformer. EquAct is theoretically guaranteed to be SE(3) equivariant and consists of two key components: (1) an efficient SE(3)-equivariant point cloud-based U-net with spherical Fourier features for policy reasoning, and (2) SE(3)-invariant Feature-wise Linear Modulation (iFiLM) layers for language conditioning. To evaluate its spatial generalization ability, we benchmark EquAct on 18 RLBench simulation tasks with both SE(3) and SE(2) scene perturbations, and on 4 physical tasks. EquAct performs state-of-the-art across these simulation and physical tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI