SketchMate: 幾何学的推論エージェントによるゼロショット高精度挿入

- 精密な部品挿入（sub-millimetre precision、keyed features の正しい向き）を対象とした zero-shot の agentic manipulation 手法。 - VLM にタスクの sketch model（少数の geometric primitives と 2 つの mate frames）を構築させ、VLM agent が multi-view depth 上で geometric tools により測定し、標準的な planner と compliant controller が実行する枠組み。 - sketch memory により各 agent run を保存し、後の配置へ point-cloud registration で転送する。

- VLM ベースの既存 zero-shot agentic manipulation 手法は空間出力が粗すぎて精密挿入に不向きという問題に対し、VLM に直接空間出力を出させるのではなく sketch model を構築させる点が異なる。 - 同一 VLM を用いた ReKep と MOKA が厳格な kinematic test で 1 つも挿入できないのに対し、本手法は 88% を assembled pose で挿入。 - sketch は配置に依存せず部品を記述するためタスクごとに一度だけ構築すればよく、sketch memory の再利用で VLM 呼び出しを未知部品に限定できる。

- VLM が geometric primitives と 2 つの mate frames からなる sketch model を生成。 - VLM agent が multi-view depth 上で geometric tools を用いて sketch を測定。 - 測定結果を標準 planner と compliant controller が実行して挿入。 - 把持後に両 mating faces を近距離で検査し、shape matching により sketch を補正。 - sketch memory に agent run を保存し、point-cloud registration で後続配置へ転送。

- 69 の simulated insertion episodes で評価。 - 厳格な kinematic test において assembled pose で 88% の部品を挿入。 - 同一 VLM を用いた ReKep と MOKA は 1 つも挿入できず。 - 8 タスクの新規配置で、保存した 1 回の run の再利用が毎エピソードで agent を呼ぶ場合と同数の部品を挿入し、sketch 生成が約 90 s ではなく 3.4 s。

- 実機実験や sim-to-real の検証については要旨からは不明。 - 88% の失敗要因や限界については要旨からは不明。 - sketch memory の転送が失敗する条件や、未知部品での VLM 呼び出しコストについては要旨からは不明。

- ReKep - MOKA - VLM ベースの zero-shot agentic manipulation 手法（一般名） - point-cloud registration を用いた manipulation 手法（一般名） - compliant control を用いた精密挿入手法（一般名）