日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.03960

構造的アクショントランスフォーマーによる3次元器用操作

Structural Action Transformer for 3D Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

高自由度ロボットハンドの異種エンボディメント間スキル転移を可能にするため、アクションを時間列ではなく関節軌道の可変長・非順序集合として捉える構造的表現を導入し、3D点群から連続時間フローマッチングで軌道生成するSATを提案した。

詳しい要約

1. どんなもの?

本論文は、異種データセットからの模倣学習による高自由度ロボットハンドの巧みな操作を目指す。既存手法は2D観測と時間中心の行動表現に依存し、3D空間関係の捕捉や embodiment の異質性への対応が困難である。そこで、構造中心の視点を導入した Structural Action Transformer (SAT) を提案する。各 action chunk を時間的系列ではなく、関節ごとの軌道からなる可変長・順序なしの系列として再定式化する。これにより Transformer が関節数を可変系列長として扱い、異種 embodiment をネイティブに処理できる。Embodied Joint Codebook で各関節の機能的役割と運動学的特性を埋め込み、3D point clouds から連続時間 flow matching 目的で軌道を生成する。大規模異種データセットで事前学習し、シミュレーションと実世界の巧みな操作タスクで微調整する。

2. 先行研究と比べてどこがすごい?

既存手法は2D観測と時間中心の行動表現に依存し、3D空間関係の捕捉と embodiment の異質性への対応に失敗していた。SAT は構造中心の視点を導入し、action chunk を関節ごとの軌道の可変長・順序なし系列として再定式化することで、Transformer が関節数を可変系列長として扱い、異種 embodiment をネイティブに処理できる。これにより、サンプル効率と異種 embodiment 間のスキル転移において優位性を示す。

3. 技術・手法の肝は?

技術の肝は、action chunk を時間的系列ではなく、関節ごとの軌道からなる可変長・順序なし系列として構造的に定式化する点にある。これにより Transformer が関節数を可変系列長として扱い、異種 embodiment をネイティブに処理できる。さらに、Embodied Joint Codebook を導入し、各関節の機能的役割と運動学的特性を埋め込み、構造的 prior を符号化して曖昧性を解消する。モデルは 3D point clouds から連続時間 flow matching 目的で軌道を生成する。

4. どうやって有効だと検証した?

大規模異種データセットで事前学習し、シミュレーションと実世界の巧みな操作タスクで微調整することで検証した。その結果、本手法はすべてのベースラインを一貫して上回り、優れたサンプル効率と効果的な異種 embodiment 間のスキル転移を示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、imitation learning、Transformer、flow matching、point cloud ベースの操作、cross-embodiment 学習に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaohan Lei, Min Wang, Bohong Weng, Wengang Zhou, Houqiang Li

分類: cs.RO, cs.CV

原文アブストラクト

Achieving human-level dexterity in robots via imitation learning from heterogeneous datasets is hindered by the challenge of cross-embodiment skill transfer, particularly for high-DoF robotic hands. Existing methods, often relying on 2D observations and temporal-centric action representation, struggle to capture 3D spatial relations and fail to handle embodiment heterogeneity. This paper proposes the Structural Action Transformer (SAT), a new 3D dexterous manipulation policy that challenges this paradigm by introducing a structural-centric perspective. We reframe each action chunk not as a temporal sequence, but as a variable-length, unordered sequence of joint-wise trajectories. This structural formulation allows a Transformer to natively handle heterogeneous embodiments, treating the joint count as a variable sequence length. To encode structural priors and resolve ambiguity, we introduce an Embodied Joint Codebook that embeds each joint's functional role and kinematic properties. Our model learns to generate these trajectories from 3D point clouds via a continuous-time flow matching objective. We validate our approach by pre-training on large-scale heterogeneous datasets and fine-tuning on simulation and real-world dexterous manipulation tasks. Our method consistently outperforms all baselines, demonstrating superior sample efficiency and effective cross-embodiment skill transfer. This structural-centric representation offers a new path toward scaling policies for high-DoF, heterogeneous manipulators.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI