GSAM: 関節物体操作のための汎用かつ安全なロボットフレームワーク

- サービスロボット向けの articulated object manipulation を対象としたフレームワーク GSAM を提案。 - 視覚ベースの perceiver で kinematic parameters を生成し、fine-tuned VLM ベースの refiner で commonsense 推論により補正。 - interaction constraint function generator と LLM を組み合わせ、衝突回避を考慮した trajectory と posture の計画を行う。 - kinematic-aware manipulation planner が到達可能性を検証する。

- 既存の end-to-end policy learning、vision-motion planning、LLM/VLM 手法は、articulated object の多様性と end-effector と handle の相互作用の複雑さを軽視しがち。 - その結果、汎化性能が限定的で破壊的な衝突が生じる問題があった。 - GSAM はこれらを克服し、物体汎化と相互作用安全性を向上させる点が優れている。

- 視覚ベースの perceiver が kinematic parameters を生成。 - pre-trained markers による生推定が常識から逸脱する可能性に対処するため、fine-tuned VLM ベースの refiner を導入し、chain-of-thought (COT) commonsense reasoning で知覚を補正。 - interaction constraint function generator が articulated object、interaction pose、obstacle avoidance の知識を統合し、LLM がそれらを関数化して trajectory と posture 計画に適用。 - kinematic-aware manipulation planner が trajectory と posture の到達可能性を検証。

- 5 物体カテゴリにわたる 50 の hinge tasks と、ランダムに初期化された 50 の end-effector-handle configurations で実験。 - 最良ベースラインと比較して、標準偏差を 3.1% 低減し、manipulation success rate を 36.0% 向上。 - これにより GSAM の優れた物体汎化と相互作用安全性を実証。

- 要旨からは不明。

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、end-to-end policy learning、vision-motion planning、LLM/VLM ベースの手法が挙げられる。