日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34554

記憶の置き場所:記憶拡張VLAのためのオブジェクト台帳

Where Memory Belongs: Ledger, an Object Ledger for Memory-Augmented VLAs

シェア:XThreadsFacebookLINEはてブBluesky

短期知覚記憶はポリシー内に、長期物体記憶は外部の読み取り可能な台帳に置くという分割を実現し、単一のファインチューニング済みポリシーでRoboMMEの4スイート平均最高精度を達成した。

詳しい要約

1. どんなもの?

- 長期的・部分観測のロボット操作における記憶問題を扱う研究。 - 記憶の種類に応じて配置を分けるべきと主張。 - 短期知覚記憶はポリシー内、長期物体記憶は外部の明示的記録に置く。 - 提案手法Ledgerは、微調整した単一のπ_{0.5}ポリシー上で、ポリシー内フレームサンプリング記憶と外部時空間物体記憶(ledger)を組み合わせる。 - ledgerはSAM3トラッカーとVLMキャプショナーでデモから構築し、LLMプランナーがステップ境界で読む。

2. 先行研究と比べてどこがすごい?

- 最近のVLAモデルは記憶をポリシー内に埋め込むが、単一のポリシー内機構では時空間次元を網羅できず、oracle手法に大きく劣る。 - 提案手法は記憶の種類に応じて配置を分けることで、同一評価下で最高の4スイート平均64.3%を達成(最強先行手法45.9%)。 - 物体参照60.7% vs 40.3%、物体永続性86.7% vs 56.2%と大幅改善。 - 単一の重みセットでこれを実現。 - 実行時に指示と記録から記憶源を選ぶため、タスクレベルルーターが不要。

3. 技術・手法の肝は?

- 記憶を短期知覚記憶(反復、タイミング、再追跡)と長期物体記憶(持続的空間状態、包含、イベント履歴)に分類。 - 短期はポリシー内のフレームサンプリング記憶として実装。 - 長期は外部の時空間物体記憶(ledger)として実装。 - ledgerはSAM3トラッカーとVLMキャプショナーでデモから構築。 - LLMプランナーがステップ境界でledgerを読み、指示と記録から記憶源を実行時に選択。

4. どうやって有効だと検証した?

- RoboMMEベンチマークで評価。 - 4スイート平均で64.3%を達成し、同一評価下の最強先行手法45.9%を上回る。 - 物体参照60.7% vs 40.3%、物体永続性86.7% vs 56.2%を達成。 - 単一の重みセットで最高性能を実現。

5. 議論はある?

- 記憶の種類が配置を決めるという主張の妥当性。 - ポリシー内記憶と外部記憶の分割の有効性。 - 実行時の記憶源選択によりタスクレベルルーターが不要になる点。 - ベンチマーク結果の解釈や限界については要旨からは不明。

6. 次に読むべき論文は?

- π_{0.5}ポリシー - SAM3トラッカー - VLMキャプショナー - LLMプランナー - RoboMMEベンチマーク - 関連するVLAモデル(記憶をポリシー内に埋め込む手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tanguy Dieudonné, Jack B. Jedlicki, Heng Yang

分類: cs.RO

原文アブストラクト

Memory is essential for long-horizon, partially observed robotic manipulation: a robot must remember which object was placed in a drawer, whose cup it moved, or how many action cycles have elapsed. Recent vision-language-action (VLA) models embed memory directly inside the policy, but benchmarks show no single in-policy mechanism covers all spatio-temporal dimensions, trailing oracle methods by a wide margin. We argue that memory type dictates where memory should reside: short-term perceptual memory (repetition, timing, retracing) belongs inside the policy, while long-term object memory (persistent spatial state, containment, event history) belongs outside as an explicit, readable record. We present Ledger, a harness that realizes this split over a single fine-tuned $π_{0.5}$ policy by pairing an in-policy frame-sampling memory with an external spatio-temporal object memory, the ledger, built from a SAM3 tracker and a VLM captioner of the demonstration and read by an LLM planner that decides at step boundaries. On RoboMME, Ledger reaches the highest four-suite average among the evaluated methods, 64.3% (vs. 45.9% for the strongest prior method under identical evaluation), leading object reference (60.7% vs. 40.3%) and object permanence (86.7% vs. 56.2%) using a single set of weights. Choosing the memory source at runtime, from the instruction and the record, removes the need for a task-level router.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI