カメレオン：視覚運動操作のための制御インデックス型予測記憶

- 観察と行動の間に時間差がある視覚運動操作(observation-action delay)を扱う研究。 - shell gameのように、最終観察だけでは正解が決まらず、過去の事象に依存する意思決定を対象とする。 - この時間差をmemoryをpolicy-facingな問題と捉え、separability, addressability, prospectivenessの3要件を定義。 - 約60Mパラメータのvisuomotor policy「Chameleon」を提案。 - 実ロボットベンチマーク「Camo-Dataset」も導入。

- 従来のvisuomotor policyやVLAは、最終観察から直接行動を決める設定が中心で、observation-action delayを分離して評価していない。 - Chameleonはmemoryを制御に直結する問題として扱い、separability, addressability, prospectivenessを明示的に満たす。 - Camo-Datasetは決定場面を視覚的に曖昧にし、過去観察に依存させることでdelayを孤立評価する。 - 同サイズモデルでSOTAを達成し、複数のより大きなVLAベースラインを上回る。

- 約60Mのvisuomotor policyで、embodied event memoryを書き込む。 - 類似した履歴を分離可能(separable)に保つ。 - 制御に関連するtraceを検索・取得(addressable)する。 - 得られたworking stateを将来の行動に使えるようprospectiveに訓練する。 - これらにより、過去事象を行動可能な状態へ変換する。

- Camo-Datasetでdecision successを22.5%から80.8%、end-to-end successを21.3%から71.3%へ改善。 - 公開long-horizon memoryベンチマークでLIBERO-10 87.1%±0.8%、MemoryBench 97.3%±4.5%、MIKASA-Robo 75.1%±1.4%を達成。 - 同サイズモデルでSOTA、報告プロトコル下で複数のより大きなVLAベースラインを上回る。 - Probesとablationsにより、separability, addressability, prospectivenessを学習し、性能向上に寄与することを示す。

- 要旨からは、observation-action delayにおけるmemoryの3要件が性能を駆動することをprobesとablationsで示す点が議論の中心。 - 限界や失敗事例、計算コスト、実世界一般化に関する議論は要旨からは不明。 - Camo-Datasetの詳細な構成や評価条件も要旨からは不明。

- 要旨で参照/比較されている研究: LIBERO-10, MemoryBench, MIKASA-Robo, VLA baselines。 - 関連手法として、visuomotor policy, VLA, long-horizon memory benchmarksを挙げる。 - 具体的な論文名は要旨からは不明。