SPARK: 物理的再観測による自己修正型の身体性メモリ

- 具現化環境における RAG (Retrieval-augmented generation) のための、複数エピソードにわたる自己修正型メモリフレームワーク SPARK を提案する研究。 - 言語で問い合わせ可能な環境メモリ (KB) を対象に、誤った semantic label・不正確な物体位置・不整合な空間関係といった誤りを、再観測によって修正する。 - 最初のエピソード後に semantic critic が KB の領域を指摘し、targeted planner が再訪を計画し、selective merge が新観測に基づき KB の追加・削除・置換を行う。

- 既存の embodied RAG は、信頼できる単一エピソードの KB を仮定するか、エピソード間で観測を蓄積するだけで事前の誤りを修正しないことが多い。 - その結果、誤った semantic label・不正確な物体位置・不整合な空間関係が持続しうるという問題がある。 - SPARK は再観測を通じた修正を明示的に組み込み、append-only 更新より 13-41% 少ない物体数で EQA 性能を改善する点が異なる。

- semantic critic が KB の修正対象領域をフラグし、targeted planner が再訪を生成し、selective merge が新観測に基づいて KB 情報を追加・削除・置換する。 - 評価には perception で構築した KB、評価専用の visibility-constrained oracle、固定の 158 問の embodied question answering (EQA) を用いる。 - 修正は複数エピソードにわたり反復可能で、Episode 4 まで拡張する設定も検証している。

- 4 つの outdoor AirSim マップ、2 つの劣化視点条件下で、perception 構築 KB と visibility-constrained oracle を用い、158 問の EQA を修正前後で採点した。 - 1 回の修正エピソードで全マップ・両条件の EQA が改善し、append-only 更新より 13-41% 少ない物体数で、あるマップ・条件ペアでは最大 2.7x の改善を示した。 - Episode 4 まで修正を拡張すると全マップが未劣化参照の EQA 性能を上回った。 - Ablation で critic の 3 信号がそれぞれ寄与し、同一予算下で targeted revisit が untargeted より平均利得が大きく、selective merge が小さい KB で append-only に匹敵する利得を示した。

- 具現化システムの規模拡大に伴い累積誤りのリスクが増すため、targeted re-observation による embodied memory の修正が有用であると論じている。 - 評価は AirSim の outdoor マップと固定 158 問の EQA に限定されており、他環境・タスクへの一般化は要旨からは不明。 - 修正の計算コストや再訪計画の限界については要旨からは不明。

- 比較対象として言及される append-only updating 型の embodied RAG 研究。 - 関連手法として Retrieval-augmented generation (RAG)、embodied question answering (EQA)、AirSim を用いた具現化評価。 - 要旨で参照される具体的な論文名は不明。