ReSight: 具現化エージェントのためのタスク駆動型自己改善メモリ

- ReSightは、embodied agentsが過去の観測履歴をタスク要求に応じて処理・アクセスできるよう能力を拡張する、task-driven self-improving memory systemである。 - keyframesとそのspatiotemporal associationsを保持し、観測evidenceと拡張可能なderived fieldsを分離することで、保存済み観測を新たなニーズに再処理できる。 - execution agentとcoding agentが異なるinterfaceで同一memoryを共有する。前者はbounded online budget内で登録済みtoolsを呼び、後者はprogrammable workspaceとより大きなexploration budgetでevidenceを検査し、program作成やmodel取得を行う。 - Explore-Distill-Mount (EDM)により、実行・探索記録から能力ギャップを特定し、探索由来の解を再利用可能なmemory builders・query tools・sk…

- 従来は「関連evidenceが存在する」ことがタスク遂行に必要な操作のサポートを意味しなかったのに対し、ReSightはタスク要求の発生に応じてmemoryの処理・アクセス能力自体を拡張する点が新しい。 - 観測evidenceとextensible derived fieldsを分離し、保存済み観測を新規要求向けに再処理可能にした点が先行設計との差異として示唆される。 - execution agentとcoding agentを異なるinterface・予算で同一memoryに接続する構成も特徴である。 - 具体的な先行研究名との比較は要旨からは不明。

- keyframesとspatiotemporal associationsを保持するmemory設計が基盤で、evidenceとderived fieldsの分離により再処理を可能にする。 - execution agentはbounded online budget内で登録済みtoolsを呼び、coding agentはprogrammable workspaceと大きなexploration budgetでevidence検査・program作成・model取得を行う。 - 中核のExplore-Distill-Mount (EDM)は、task reference answersなしで実行・探索記録からcapability gapsを特定し、探索由来のsolutionをreusableなmemory builders・query tools・skillsへ変換してmemory表現とアクセス能力を拡張する。

- 3つの公開benchmarkで、base memory accessとcapability expansionの有効性を検証。 - 各benchmark内でexecution modelとonline budgetを固定した条件で、EDMによりOC-NaVQAのmean position errorが33.10 mから24.72 mへ減少。 - 同じ条件でFindingDoryのhigh-level successが38.3%から63.8%へ向上。 - toolsとskillを凍結した状態でも、explorationとdistillationから除外したFindingDoryエピソードでsuccessが28.3 percentage points向上。 - 実ロボットのpatrol memoriesでも、後続クエリと新規memoryへの能力再利用と平均online tool callsの削減を確認。

- 要旨は主に有効性の報告に留まり、限界や失敗事例、計算コスト、coding agentのexploration budget増大に伴うリスクなどの議論は要旨からは不明。 - execution modelとonline budgetを固定した比較設計により、memory能力拡張の効果を切り分けている点は議論の前提として示されている。 - task reference answersなしでcapability gapsを特定するEDMの一般性や、benchmark間・実ロボット環境間での転用可能性については要旨からは不明。

- Explore-Distill-Mount (EDM)の詳細と、memory builders・query tools・skillsへの変換手続きを扱う論文。 - OC-NaVQAおよびFindingDoryのbenchmark論文。 - embodied agents向けのmemory・spatiotemporal queryに関する関連研究（具体的な参照論文名は要旨からは不明）。 - coding agentやprogrammable workspaceを用いたtool生成・skill獲得に関する研究（同分野の定番として一般名で挙げる）。