日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.21013

セルフノート:メモリ依存操作タスクのためのスクラッチパッド拡張VLA

Notes-to-Self: Scratchpad Augmented VLAs for Memory Dependent Manipulation Tasks

シェア:XThreadsFacebookLINEはてブBluesky

言語スクラッチパッドをVLAに導入し、空間・時間メモリを付与することで、メモリ依存の長期的操作タスクの汎化性能を向上させた研究。

詳しい要約

1. どんなもの?

- 視覚-言語-行動(VLA)モデルに言語スクラッチパッドを導入し、記憶依存の長期的操作タスクを可能にする手法を提案。 - スクラッチパッドは物体位置などのタスク固有情報を記憶し、計画とサブゴールの進捗を追跡する。 - 非マルコフ的タスクに対処する。

2. 先行研究と比べてどこがすごい?

- 既存のVLAは「ステートレス」で記憶依存の長期的タスクが苦手。 - 本手法は言語スクラッチパッドにより空間的・時間的記憶を付与し、一般化を大幅に改善。 - 非リカレントモデルとリカレントモデルの両方で有効性を示す。

3. 技術・手法の肝は?

- VLAに言語スクラッチパッドを組み込み、タスク固有情報(物体位置など)を記憶。 - 計画とサブゴールの進捗を追跡する。 - 非リカレントモデルとリカレントモデルの両方に適用可能。

4. どうやって有効だと検証した?

- ClevrSkills環境の記憶依存タスク分割、MemoryBench、実世界のピックアンドプレースタスクで評価。 - 言語スクラッチパッドの導入により、非リカレントモデルとリカレントモデルの両方で一般化が大幅に向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- ClevrSkills、MemoryBench、および関連するVLA研究(例:RT-1, RT-2, PaLM-Eなど)が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sanjay Haresh, Daniel Dijkman, Apratim Bhattacharyya, Roland Memisevic

分類: cs.RO

原文アブストラクト

Many dexterous manipulation tasks are non-markovian in nature, yet little attention has been paid to this fact in the recent upsurge of the vision-language-action (VLA) paradigm. Although they are successful in bringing internet-scale semantic understanding to robotics, existing VLAs are primarily "stateless" and struggle with memory-dependent long horizon tasks. In this work, we explore a way to impart both spatial and temporal memory to a VLA by incorporating a language scratchpad. The scratchpad makes it possible to memorize task-specific information, such as object positions, and it allows the model to keep track of a plan and progress towards subgoals within that plan. We evaluate this approach on a split of memory-dependent tasks from the ClevrSkills environment, on MemoryBench, as well as on a challenging real-world pick-and-place task. We show that incorporating a language scratchpad significantly improves generalization on these tasks for both non-recurrent and recurrent models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI