日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2604.15215

ロボットの文脈内模倣学習のための階層的時空間アクショントークナイザ

A Hierarchical Spatiotemporal Action Tokenizer for In-Context Imitation Learning in Robotics

シェア:XThreadsFacebookLINEはてブBluesky

階層的なベクトル量子化と時空間情報を利用した新しいアクショントークナイザを提案し、模倣学習の性能を向上させた。

詳しい要約

1. どんなもの?

- ロボティクスにおけるin-context imitation learningのための新しい階層的時空間行動トークナイザー(HiST-AT)を提案。 - 階層的アプローチは2段階のvector quantizationから成り、下位レベルで入力行動を細かいサブクラスタに割り当て、上位レベルでサブクラスタをクラスタにマッピング。 - 空間情報を主に活用して入力行動を再構成する非階層的 counterpart を上回る性能を示す。 - さらに空間と時間の手がかりを利用して拡張し、多レベルクラスタリングを行いながら入力行動と関連するタイムスタンプを同時に復元。 - 複数のシミュレーションおよび実ロボット操作ベンチマークで評価し、in-context imitation learningの新たなstate-of-the-art性能を確立。

2. 先行研究と比べてどこがすごい?

- 非階層的な counterpart と比較して、階層的アプローチが優れた性能を示す。 - 主に空間情報を活用して入力行動を再構成する点で、従来の手法と異なる。 - 空間と時間の両方の手がかりを利用する階層的時空間アプローチにより、多レベルクラスタリングを実現し、入力行動とタイムスタンプを同時に復元。 - 複数のシミュレーションおよび実ロボット操作ベンチマークで新たなstate-of-the-art性能を達成。 - 先行研究との具体的な比較は要旨からは不明。

3. 技術・手法の肝は?

- 階層的アプローチ:2段階のvector quantizationを採用。 - 下位レベル:入力行動をfine-grained subclustersに割り当て。 - 上位レベル:fine-grained subclustersをclustersにマッピング。 - 空間情報を主に活用して入力行動を再構成。 - 拡張版HiST-AT:空間と時間の手がかりを利用し、多レベルクラスタリングを実施。 - 入力行動と関連するタイムスタンプを同時に復元。 - 階層的時空間行動トークナイザーとして、in-context imitation learningに適用。

4. どうやって有効だと検証した?

- 複数のシミュレーションおよび実ロボット操作ベンチマークで広範な評価を実施。 - その結果、in-context imitation learningにおいて新たなstate-of-the-art性能を確立。 - 具体的なベンチマーク名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、vector quantization、hierarchical clustering、imitation learning、in-context learning、robotic manipulationの定番論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fawad Javed Fateh, Ali Shah Ali, Murad Popattia, Usman Nizamani, Andrey Konin, M. Zeeshan Zia, Quoc-Huy Tran

分類: cs.RO

原文アブストラクト

We present a novel hierarchical spatiotemporal action tokenizer for in-context imitation learning. We first propose a hierarchical approach, which consists of two successive levels of vector quantization. In particular, the lower level assigns input actions to fine-grained subclusters, while the higher level further maps fine-grained subclusters to clusters. Our hierarchical approach outperforms the non-hierarchical counterpart, while mainly exploiting spatial information by reconstructing input actions. Furthermore, we extend our approach by utilizing both spatial and temporal cues, forming a hierarchical spatiotemporal action tokenizer, namely HiST-AT. Specifically, our hierarchical spatiotemporal approach conducts multi-level clustering, while simultaneously recovering input actions and their associated timestamps. Finally, extensive evaluations on multiple simulation and real robotic manipulation benchmarks show that our approach establishes a new state-of-the-art performance in in-context imitation learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI