日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.00695

HAMLET: 視覚言語行動モデルを履歴認識ポリシーに切り替える

HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

シェア:XThreadsFacebookLINEはてブBluesky

各時刻の知覚情報を圧縮したモーメントトークンと軽量メモリモジュールで過去の文脈を統合し、VLAモデルを履歴依存タスクに適応させるフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット操作タスクの履歴依存性に着目したフレームワーク HAMLET の提案 - 既存の Vision-Language-Action models (VLAs) は現在の観測のみに依存し過去文脈を無視 - VLAs を history-aware policy へ適応させるスケーラブルな枠組み - 中核は moment tokens と lightweight memory module - 各 timestep の知覚情報を moment tokens として圧縮表現 - 過去の moment tokens を memory features に統合し行動予測に利用

2. 先行研究と比べてどこがすごい?

- 既存 VLAs は単一観測ベースで履歴を考慮しない設計 - HAMLET は既存 VLA を履歴認識型へ変換可能な点が新規 - 最先端 VLA である GR00T N1.5 上で有効性を実証 - history-dependent な実世界タスクで平均成功率 76.4%、baseline 比 +47.2% - 汎用ベンチマークでも prior art を更新 - RoboCasa Kitchen (100-demo) で 64.1% → 66.4% - LIBERO で 95.6% → 97.7%

3. 技術・手法の肝は?

- moment tokens の導入 - 各 timestep の知覚情報をコンパクトに符号化 - time-contrastive learning で初期化し時間的に識別的な側面を捕捉 - lightweight memory module - 過去 timestep の moment tokens を memory features へ統合 - 統合された memory features を行動予測に活用 - 既存 VLA に後付け可能なスケーラブル設計

4. どうやって有効だと検証した?

- 実世界の history-dependent タスクで評価 - GR00T N1.5 上で平均成功率 76.4%、baseline を 47.2% 上回る - 汎用ロボット操作ベンチマークで評価 - RoboCasa Kitchen (100-demo setup): 64.1% → 66.4% - LIBERO: 95.6% → 97.7% - 長期的 horizon タスクで特に顕著な改善を報告

5. 議論はある?

- 長期的 horizon で履歴文脈が必要なタスクへの有効性を主張 - 汎用ベンチマークでも改善し、履歴特化に留まらない汎用性を示唆 - 限界や失敗事例、計算コスト等の詳細は要旨からは不明 - memory module の設計選択やスケーリング則の議論は要旨からは不明

6. 次に読むべき論文は?

- GR00T N1.5(比較対象の基盤 VLA) - Vision-Language-Action models (VLAs) 全般の関連研究 - time-contrastive learning を用いた表現学習 - RoboCasa Kitchen および LIBERO ベンチマーク関連手法 - 長期的 horizon ロボット操作における memory 機構の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

分類: cs.RO, cs.CV

原文アブストラクト

Inherently, robotic manipulation tasks are history-dependent: leveraging past context could be beneficial. However, most existing Vision-Language-Action models (VLAs) have been designed without considering this aspect, i.e., they rely solely on the current observation, ignoring preceding context. In this paper, we propose HAMLET, a scalable framework to adapt VLAs to attend to the historical context during action prediction. Specifically, we introduce moment tokens that compactly encode perceptual information at each timestep. Their representations are initialized with time-contrastive learning, allowing them to better capture temporally distinctive aspects. Next, we employ a lightweight memory module that integrates the moment tokens across past timesteps into memory features, which are then leveraged for action prediction. Through empirical evaluation, we show that HAMLET successfully transforms a state-of-the-art VLA into a history-aware policy, especially demonstrating significant improvements on long-horizon tasks that require historical context. In particular, on top of GR00T N1.5, HAMLET achieves an average success rate of 76.4% on history-dependent real-world tasks, surpassing the baseline performance by 47.2%. Furthermore, HAMLET pushes prior art performance from 64.1% to 66.4% on RoboCasa Kitchen (100-demo setup) and from 95.6% to 97.7% on LIBERO, highlighting its effectiveness even under generic robot-manipulation benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI