日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2608.22591

WorldToken: ロボット模倣学習のための時間優先シーケンスモデリング

WorldToken: Time-First Sequence Modeling for Robotic Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットポリシーにおいて、各タイムステップの多視点画像やプロプリオセプションなどの観測を1つのワールドトークンに融合し、時間方向にTransformerでモデル化する新しい手法を提案。RoboCasaタスクで高い成功率を達成し、データ量やモデルサイズの影響を分析した。

詳しい要約

1. どんなもの?

WorldTokenは、ロボットの模倣学習における時系列モデリングの新しいポリシー実装である。各ポリシータイムステップ内のマルチビュー画像、プロprioception、タスク条件付けを融合し、単一のワールドトークンにまとめる。因果的時系列Transformerがワールドトークンのシーケンスをモデル化し、拡散アクションヘッドがアクションチャンクを生成する。

2. 先行研究と比べてどこがすごい?

従来のシーケンスモデルは、異なる観測を時間軸に対してどのように整理するかが異なるが、WorldTokenは時間優先のアプローチを提案し、各タイムステップの情報を1つのトークンに統合する点が新しい。また、完全な実装の経験的実現可能性を示し、データスケーリングと時間的文脈の挙動を体系的に評価している。

3. 技術・手法の肝は?

手法の肝は、各ポリシータイムステップの異種観測を1つのワールドトークンに融合し、因果的時系列Transformerで処理すること。さらに、拡散アクションヘッドを用いてアクションチャンクを生成する。CLIPテキストエンコーダは凍結され、ポリシーはスクラッチから訓練される。

4. どうやって有効だと検証した?

23のRoboCasaタスクで、85.3Mパラメータのポリシーが、2,900の生成デモを使用して59.45%の平均閉ループ成功率を達成。データサイズ、モデルサイズ、シードの完全要因スイープで、追加のターゲットドメインデータによる一貫した改善と、中程度のモデルサイズを超えると収穫逓減を確認。また、履歴トランケーションの影響を評価し、RMBench Blocks Rankingで可視履歴を減らすと成功率が低下することを示した。

5. 議論はある?

要旨からは、WorldTokenが他のシーケンス組織よりも優れているとは主張しておらず、完全な実装のどのコンポーネントが性能に寄与するかを分離していない。また、テストされたレシピの下での経験的実現可能性を示すに留まる。

6. 次に読むべき論文は?

要旨で参照されている研究は、RoboCasa、RMBench、CLIP、拡散モデル、因果的Transformerなど。次に読むべき論文としては、これらの基盤となった論文や、シーケンスモデリングの代替組織を比較した研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chunkai Yang, Andong Yang, Chao Gao

分類: cs.RO

原文アブストラクト

Robot policies receive heterogeneous observations at each decision step, yet sequence models differ in how they organize these inputs over time. We introduce WorldToken, a time-first policy instantiation that fuses multiview images, proprioception, and task conditioning within each policy timestep into one world token. A causal temporal Transformer models the resulting world-token sequence, and a diffusion action head generates action chunks. On 23 RoboCasa tasks, an 85.3M-parameter policy trained from scratch apart from a frozen pretrained CLIP text encoder achieves 59.45% mean closed-loop success using 2,900 generated demonstrations per task. A complete factorial sweep over five dataset sizes, five model sizes, and two training seeds shows consistent gains from additional target-domain data and diminishing returns beyond moderate model size. Under same-checkpoint history truncation, reducing visible history to one or two policy timesteps lowers closed-loop success for all 50 RoboCasa policies. On RMBench Blocks Ranking, reducing visible history from 146 to 8 seconds lowers evaluator success from 95% to 28%, while an exploratory extended rollout sustains the reference swap sequence for over 850 seconds. These results establish the empirical feasibility of the complete WorldToken instantiation and characterize its data-scaling and temporal-context behavior under the tested recipes. They do not establish superiority over alternative sequence organizations or isolate which components of the complete implementation drive the observed performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI