TIGeR: ロボティクス向け視覚言語モデルにおけるツール統合幾何推論

- Vision-Language Models (VLMs) の空間推論能力をロボティクス向けの精密な幾何計算に拡張するフレームワーク TIGeR (Tool-Integrated Geometric Reasoning) の提案。 - VLM を『知覚的推定器』から『幾何計算機』へ転換し、外部ツールの生成・実行を通じて正確な幾何演算を行わせる。 - 併せて point transformations, pose estimation, spatial compatibility verification を網羅する tool-invocation 指向データセット TIGeR-300K を導入。 - 実世界のロボットマニピュレーションで centimeter-level precision を目指す。

- 既存 VLM は qualitative precision に留まり、depth sensors や camera calibration の metric cues を活用せず幾何問題を pattern recognition に還元していた。 - そのためロボット操作に必要な centimeter-level accuracy を達成できなかった。 - TIGeR は複雑な幾何演算をニューラルネット内部に内在化させるのではなく、外部ツール呼び出しで厳密計算する点が異なる。 - 幾何推論ベンチマークで SOTA を達成し、実機で centimeter-level precision を示したと主張。

- モデルに幾何推論の必要性を認識させ、適切な計算コードを合成し、専用ライブラリを呼び出して厳密計算を実行させる tool-integrated パラダイム。 - TIGeR-300K は tool invocation sequences と intermediate computations を含むデータセット。 - 学習は supervised fine-tuning (SFT) と reinforcement fine-tuning (RFT) の二段階パイプライン。 - RFT には提案する hierarchical reward design を用いる。

- 幾何推論ベンチマーク上で SOTA 性能を達成したと報告。 - 実世界のロボットマニピュレーションタスクにおいて centimeter-level precision を実証したと述べられている。 - 具体的なベースラインや評価指標の詳細は要旨からは不明。

- 要旨からは不明。 - 想定される論点として、外部ツール依存による汎化性・ロバスト性、ツール呼び出し失敗時の挙動、実機での誤差要因などが考えられるが、要旨には明示されていない。

- 要旨で参照・比較されている具体的な先行研究名は記載なし。 - 関連手法として、VLM の spatial reasoning 研究、tool-augmented / tool-integrated な LLM・VLM 手法、supervised fine-tuning (SFT) と reinforcement fine-tuning (RFT) を用いる推論モデル、depth sensors と camera calibration を活用するロボティクス幾何推定の定番研究を次に読む候補として挙げる。