DIRECT: 身体化プランナーにおけるテスト時計算の割り当てはいつ、どこで行うべきか？

- 本論文は、embodied agent の high-level planner として使われる Vision-Language Models (VLMs) において、test-time compute をいつ・どこに配分すべきかを扱う。 - 提案手法 DIRECT は、multimodal scene context を用いて prompt ごとに compute を routing する framework。 - 目的は、fixed model selection よりも success–cost Pareto frontier を改善し、frontier 性能を低コストで実世界に持ち込むこと。

- 従来は test-time compute を一律に増やす scaling が主流で、latency・token usage・FLOPs が増える一方、下流 success の利得は不均一で逓減しやすかった。 - DIRECT は固定モデル選択ではなく、multimodal scene context に基づく prompt 単位の compute 配分を行う点が異なる。 - これにより success–cost Pareto frontier を改善し、より強いモデルの success rate に匹敵または超過しつつ平均 latency を最大 65% 削減できると報告。

- 中核は、multimodal scene context を入力として、prompt ごとに test-time compute を配分する routing framework。 - 対象とする scaling 軸は chain-of-thought depth、model size、memory history の 3 つ。 - これらの軸が一様な lever ではなく、質的に異なる capability gains を生むことを前提に配分を設計。 - 詳細な router の学習・推論手続きは要旨からは不明。

- VLABench と RoboMME 上で、3 つの scaling 軸に関する実験を実施。 - 物理的な Franka arm を用いた DROID setup で、zero-shot manipulation と long-horizon chaining を検証。 - その結果、router がより強いモデルの success rate に匹敵または超過し、平均 latency を最大 65% 削減した。

- test-time compute を naive に scaling することは wasteful であり、いつ・どこに使うかが重要だと主張。 - 3 軸が質的に異なる利得をもたらすため、一様な scaling では不十分という議論。 - DIRECT により frontier-level の embodied planning を低コストで実現可能と結論。 - 限界や失敗条件、router の一般化性については要旨からは不明。

- 要旨で参照・比較されているのは VLABench、RoboMME、DROID setup、Franka arm、Vision-Language Models (VLMs)。 - 関連手法として chain-of-thought depth、model size、memory history の scaling 軸が挙げられている。 - 具体的な個別論文名は要旨に無いため、同分野の定番として embodied planning における VLM-based planner や test-time compute scaling の研究を次に読むべき。