Transformer Transformer: 動作条件付きロボット共設計のための統一モデル

本論文は、ロボットの身体設計（embodiment）と動作を同時に最適化する「motion-conditioned robot co-design」問題に取り組む。目標は、人間のデモから得た目標エンドエフェクタ軌道を追跡しつつ、ユーザー定義の報酬を最適化する完全なロボット設計を生成することである。提案手法「Transformer Transformer」は、ロボットの身体、状態、行動を統一トークン化した「RoboTokens」で学習する拡散トランスフォーマーであり、車輪付き双腕、四足、人型など異なる身体空間や、身体生成、クロス身体コントローラなどのユースケースに同一アーキテクチャで対応する。報酬関数に特化せず、報酬非依存の状態・行動予測を行うダイナミクスモデルとして機能し、その予測を報酬固有の価値予測に変換する。この価値予測を用いて「Dynamics Self-Guidance」と呼ばれる手順で身体拡散を高価値な設計へ導く。

従来のロボット設計最適化は、特定の報酬関数に過適合しがちであり、進化的アルゴリズムなどのベースラインは計算コストが高く、未見の報酬や軌道への一般化が難しい。本手法は、報酬非依存のダイナミクスモデルを学習することで、未見の報酬や軌道に対してゼロショット最適化を可能にし、進化的ベースラインと比較して性能と実行時間を改善する。また、単一のアーキテクチャで複数の身体空間とユースケースを扱える点も新しい。

手法の核は、RoboTokensによる統一トークン化と、拡散トランスフォーマーによるダイナミクスモデルの学習、そしてDynamics Self-Guidanceによる報酬誘導である。RoboTokensは、ロボットの身体構造、状態、行動を共通のトークン空間に埋め込む。Transformer Transformerは、このトークン系列を入力として、次の状態と行動を予測するように学習される。推論時には、報酬関数の勾配を価値予測に変換し、拡散サンプリング過程をガイドすることで、報酬を最大化する身体設計を生成する。

複数の設計空間での実験により、未見の報酬と軌道に対するゼロショット最適化の有効性を示し、進化的ベースラインと比較して性能と実行時間が改善されたことを報告している。さらに、最適化されたALOHA設計を実際に製作し、元の設計と比較して追跡誤差を70%以上削減したことを示した。

要旨からは、議論の詳細は不明である。ただし、提案手法は報酬非依存のダイナミクスモデルに依存するため、報酬関数の設計や価値予測の正確性が性能に影響する可能性がある。また、シミュレーションと実機のギャップや、多様な身体空間へのスケーラビリティに関する議論が考えられるが、要旨には明記されていない。

要旨で参照されている進化的ベースラインや、関連するロボット設計最適化の研究、拡散モデルを用いたロボット学習の研究が挙げられる。具体的には、進化的アルゴリズムを用いたロボット設計の研究や、拡散ポリシー（Diffusion Policy）などの拡散モデルに基づくロボット制御の研究が関連する。