日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.11865

Tenma: 拡散トランスフォーマーによる堅牢なクロスエンボディメントロボットマニピュレーション

Tenma: Robust Cross-Embodiment Robot Manipulation with Diffusion Transformer

シェア:XThreadsFacebookLINEはてブBluesky

異なるロボットの状態・行動空間を共有潜在空間に写像する正規化器と拡散トランスフォーマーを組み合わせ、両腕マニピュレーションを軽量かつ高精度・高汎化で実現した研究。

詳しい要約

1. どんなもの?

- Tenmaは、異種・マルチモーダルなロボットデータで学習する軽量なdiffusion-transformer方針で、両腕マニピュレーション制御を対象とする。 - 複数視点RGB・proprioception・言語を入力として統合する。 - cross-embodiment設定での安定性と性能に効く設計選択を研究する。 - ベンチマークでin-distribution平均成功率88.95%を報告。

2. 先行研究と比べてどこがすごい?

- Transformer方針とdiffusionモデルのスケーリングは進展しているが、軽量かつcross-embodiment学習での組み合わせは困難と位置づける。 - 同一計算条件の比較で、Tenmaはin-distribution平均88.95%に対し、baseline方針の最良in-distribution平均は18.12%と報告。 - objectおよびscene shift下でも強い性能を維持すると述べる。 - 中程度のデータ規模でも堅牢なmanipulationとgeneralizationを示す点を強調。

3. 技術・手法の肝は?

- cross-embodiment normalizerにより、異なるstate/action空間を共有latent spaceへ写像する。 - 複数視点RGB・proprioception・言語を統合する軽量diffusion-transformer。 - Joint State-Time encoderで時間的に整合したobservation learningを行い、推論速度を向上させる。 - diffusion action decoderは訓練安定性と学習容量に最適化。 - 両腕arm control向けの設計。

4. どうやって有効だと検証した?

- 複数のbenchmarkで評価し、同一計算条件でbaseline方針と比較。 - in-distribution平均成功率88.95%を報告。 - objectおよびscene shift下での性能を評価し、堅牢性を示す。 - baseline方針の最良in-distribution平均18.12%との比較を提示。 - 具体的なbenchmark名やデータセット名は要旨からは不明。

5. 議論はある?

- 中程度のデータ規模でも堅牢なmanipulationとgeneralizationが得られたと主張。 - multimodalおよびcross-embodiment学習戦略がtransformer-based imitation learning方針の能力拡張に有望と述べる。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。 - 設計選択の個別ablation結果は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているbaseline policies(具体名は要旨からは不明)。 - Transformer policiesおよびdiffusion modelsのスケーリングに関する先行研究(具体名は要旨からは不明)。 - cross-embodiment robot learningおよびmultimodal imitation learningの関連研究(具体名は要旨からは不明)。 - 同分野の定番としてbehavior cloningやdiffusion policy、transformer-based imitation learningの代表的論文を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Travis Davies, Yiqi Huang, Yunxin Liu, Xiang Chen, Huxian Liu, Luhui Hu

分類: cs.RO, cs.AI

原文アブストラクト

Scaling Transformer policies and diffusion models has advanced robotic manipulation, yet combining these techniques in lightweight, cross-embodiment learning settings remains challenging. We study design choices that most affect stability and performance for diffusion-transformer policies trained on heterogeneous, multimodal robot data, and introduce Tenma, a lightweight diffusion-transformer for bi-manual arm control. Tenma integrates multiview RGB, proprioception, and language via a cross-embodiment normalizer that maps disparate state/action spaces into a shared latent space; a Joint State-Time encoder for temporally aligned observation learning with inference speed boosts; and a diffusion action decoder optimized for training stability and learning capacity. Across benchmarks and under matched compute, Tenma achieves an average success rate of 88.95% in-distribution and maintains strong performance under object and scene shifts, substantially exceeding baseline policies whose best in-distribution average is 18.12%. Despite using moderate data scale, Tenma delivers robust manipulation and generalization, indicating the great potential for multimodal and cross-embodiment learning strategies for further augmenting the capacity of transformer-based imitation learning policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI