時間で検索し、周波数で補正する

RTCF (Retrieve in Time, Correct in Frequency) は、凍結された vision-language-action (VLA) ポリシーの性能を、テスト時に訓練なしで改善するフレームワーク。時間的に拡張されたアクションチャンクを生成するが、長期的な操作では累積実行エラーや視覚的曖昧さに弱い。RTCF は、成功したロールアウトから得た経験を利用し、ポリシーの提案を補正する。

既存のフレームリトリーバルは、進捗に合わないアクションを返す可能性があり、直接リプレイや時間領域での融合はポリシー提案の反応構造を上書きしうる。RTCF は、どの経験を取得するかと、そのアクションのどの部分を転送するかを分離することで、これらの問題を回避する。

RTCF は Progressive Memory Alignment (PMA) を用いて、増加する視覚的実行履歴を完全な成功軌道と因果的に整列させる。PMA は単調なフロンティアを更新し、ステージラベルなしで関連メモリと現在の整列位置を特定する。整列されたアクションチャンクから、RTCF は運動チャネル上の低周波残差を係数ごとにクリップして転送する。高周波成分とグリッパー決定は凍結ポリシーから継承される。

4つの LIBERO スイートと条件ごとに2,000エピソードで評価。RTCF は全体の成功率を86.4%から88.4%に向上させ、LIBERO-Long では61.6%から68.6%に改善した。パラメータ更新、繰り返しの VLA 推論、追加の GPU リソースは不要で、補正は単一のポリシー呼び出し後にクライアント CPU で実行可能。中央値レイテンシはアクションチャンクあたり合計10.99 ms。

要旨からは、RTCF の限界や潜在的な欠点についての議論は不明。ただし、低周波残差の転送が高周波成分やグリッパー決定に影響を与えないこと、また CPU での実行が可能であることから、計算効率と性能のトレードオフが示唆される。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、vision-language-action models、test-time adaptation、retrieval-augmented generation に関する論文が考えられる。具体的には、VLA ポリシーの凍結性能を改善する手法や、ロボット操作における経験のリプレイを扱う研究が関連する。