オープンな視覚言語モデルを用いた空間QAとナビゲーションのためのバイナリ追跡

- サービスロボットの長距離自己中心経路における空間質問応答（Spatial QA）を扱う。 - クエリ例「家に帰る途中でドライクリーニング店はどこ？」に対し、下流ナビゲーションが利用可能なメートル座標を返す。 - 完全オープンソースの空間定位エージェントBinTrackを提案。 - ロボットの軌跡の時間的順序を利用し、クエリから特定した2つのアンカーランドマーク間の軌跡セグメントで二分探索を行う。 - オープンソース実装より最大22.8%精度向上、SpaceLocQAベンチマークのglobalカテゴリで報告されているクローズドソースモデル結果に匹敵。 - 推論速度も従来比1.5倍以上高速化。 - 新ベンチマークGangnamLoopも公開。実四足歩行ロボットを公共路上で展開し、匿名化ポリシーに基づき収集したマルチトリップ屋外ベンチマーク。異なる屋外条件で同じ場所を再訪し、ロボットの低視点と人間オーナーの視点をペアリング。 - ソースコードとデータセットは公開。

- 従来のSpatial QAはGPT-4oなどのクローズドソースモデルを用いた検索拡張エージェントに依存。 - 実世界のロボットではネットワーク不安定、通信遅延、展開コストのためオンラインクローズドソースモデルに信頼性高く依存できない。 - オンボードで動作するオープンソースSpatial QAの必要性があるが、従来研究は限定的。 - BinTrackは完全オープンソースで、オープンソース実装より最大22.8%精度向上。 - SpaceLocQAベンチマークのglobalカテゴリで、これまでGPT-4oなどの強力な推論エージェントを必要とした最も困難な設定において、報告されているクローズドソースモデル結果に匹敵。 - 推論速度も従来手法より1.5倍以上高速。

- BinTrackはロボットの軌跡の時間的順序を活用する、シンプルかつ効果的な完全オープンソースの空間定位エージェント。 - クエリから2つのアンカーランドマークを特定し、その間の軌跡セグメントに対して二分探索を実行。 - これにより効率的にメートル座標を特定。 - 最適化された推論戦略により、従来手法より1.5倍以上の推論高速化を実現。 - 詳細なアルゴリズムやモデル構成は要旨からは不明。

- SpaceLocQAベンチマークで評価。 - オープンソース実装と比較して最大22.8%の精度向上を確認。 - globalカテゴリでクローズドソースモデル（GPT-4o）の報告結果に匹敵することを確認。 - 推論速度が従来手法より1.5倍以上高速であることを確認。 - 新ベンチマークGangnamLoopを公開。実四足歩行ロボットを公共路上で展開し、匿名化ポリシーに基づき収集。異なる屋外条件で同じ場所を再訪し、ロボットの低視点と人間オーナーの視点をペアリング。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

- 実世界のロボットではネットワーク不安定、通信遅延、展開コストのためオンラインクローズドソースモデルに依存できない問題を指摘。 - オンボードで動作するオープンソースSpatial QAの必要性を強調。 - BinTrackがオープンソースでありながらクローズドソースモデルに匹敵する性能を示すことを議論。 - 新ベンチマークGangnamLoopの特性（マルチトリップ、異なる屋外条件、低視点と人間視点のペア）について言及。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

- 要旨で参照/比較されている研究：GPT-4oを用いた検索拡張エージェント、SpaceLocQAベンチマーク、オープンソース実装。 - 関連手法：Spatial Question Answering、retrieval-augmented agents、binary search。 - 同分野の定番：Visual Question Answering (VQA)、Embodied Question Answering (EQA)、Vision-Language Navigation (VLN)。