長期的ロボット世界モデルのための重要記憶保持

- 離散 visual token に基づく autoregressive robot video world model の長 horizon 予測を改善する研究。 - 全履歴を保持する Full Context decoding では、scene 情報・直近の visual-action 状態・古い生成履歴が attention を奪い合う『memory-role conflict』を仮説として提示。 - これを緩和する training-free な context-scheduling 手法 ReCAP (Receding Context with Anchor Preservation) を提案。 - 初期 scene anchor と直近の完全な visual-action block の連続 window を保持し、古い生成履歴を evict する。 - tokenizer・world model・visual decoder は frozen のまま、追加 module や parameter 更新なしで active-context の増加を rollout 長に依存…

- Full Context decoding を baseline とし、全履歴保持が必ずしも予測品質を向上させない点を問題視。 - 従来の context 全保持に対し、ReCAP は training-free で context を schedule し、rollout 長に依らず active-context を bound。 - 追加 module・parameter 更新を要さず、pretrained tokenizer/world model/visual decoder を frozen で使える点が実用的。 - 評価環境・horizon を通じて visual fidelity、action-conditioned consistency、robot structure preservation を Full Context より改善。 - BridgeV2 で LPIPS を 63.3% 削減、H=64 の system benchmark で logical KV footprint を 73.3%、p50 latency を 6.51% 削減。

- ReCAP (Receding Context with Anchor Preservation) は long-horizon robot video world model 向けの training-free context-scheduling 手法。 - 初期 scene anchor を保持しつつ、直近の完全な visual-action block の連続 window を維持。 - 古い生成履歴を evict し、block 内構造と temporal order を保つ。 - 追加 module や parameter 更新は不要で、active-context の増加を rollout 長から独立に bound。 - 詳細な schedule 設計や実装は要旨からは不明。

- RT-1、BridgeV2、LIBERO-90、CALVIN 上で frozen autoregressive world model を用いて ReCAP を評価。 - 評価した環境・horizon 全体で Full Context に対し visual fidelity、action-conditioned consistency、robot structure preservation が改善。 - BridgeV2 では LPIPS を 63.3% 削減。 - H=64 の system benchmark で logical KV footprint を 73.3%、p50 latency を 6.51% 削減。 - Attention 分析で保持された recent state への attention 増加、history intervention で stale context が多いほど prediction error が高い傾向を確認。

- 観察結果は memory-role-conflict 仮説と整合するが、context-length や position-handling の効果から仮説を分離できてはいない。 - 結果は inference-time context scheduling が再学習なしに long-horizon robot video prediction と計算効率を改善する実用的アプローチであることを支持。 - 仮説の直接検証や他要因の切り分けは要旨からは不明。

- Full Context decoding との比較が中心。 - 評価に用いられた RT-1、BridgeV2、LIBERO-90、CALVIN の関連研究。 - autoregressive robot video world model、discrete visual token、visual-action block を用いる同分野の手法。 - 具体的な次読論文名は要旨からは不明。