CLASP: セマンティックキーポイントによる汎用衣服操作

- 家庭用サービスロボット向けの衣服操作（folding, hanging など）を汎用化する枠組み CLASP（CLothes mAnipulation with Semantic keyPoints） - T-shirts, shorts, skirts, long dresses など多様な衣服種別と、folding, flattening, hanging など複数タスクを対象 - 中核は『left sleeve』『right shoulder』などの semantic keypoints という疎な空間-意味表現 - semantic keypoints を高レベル計画と低レベル行動の仲介表現として用いる - RGB-D 画像から keypoints を抽出し、VLM による計画と keypoint 条件付き skill で実行する

- 既存手法は特定の衣服種別・タスクに限定されがちで、衣服の高次元で複雑な幾何が汎用化の障壁だった - CLASP は多様な衣服種別と複数タスクにまたがる汎用衣服操作を目指す点が異なる - semantic keypoints という疎な空間-意味表現を導入し、知覚と行動の双方に有用な共通表現とする - 高レベルでは VLM を用いて keypoints 上のタスク計画を予測し、低レベルでは事前構築した skill 群で実行する構成 - 要旨では複数タスク・多様な衣服で state-of-the-art baseline を上回ると報告

- 衣服の semantic keypoints（例：left sleeve, right shoulder）を RGB-D 画像から抽出 - 抽出した keypoints を中間表現として、高レベル計画と低レベル行動実行を接続 - 高レベル：vision language models (VLMs) により semantic keypoints 上のタスク計画を予測 - 低レベル：keypoints を条件とした事前構築済み manipulation skills 群で計画を実行 - 疎な空間-意味表現により、衣服形状の高次元性を扱いやすくする狙い（詳細な学習手順は要旨からは不明）

- シミュレーション実験で、多様な衣服種別にわたる複数タスクにおいて state-of-the-art baseline 手法を上回る性能を報告 - 汎化性能の強さを示す結果が得られたと記載 - 実機では Franka dual-arm system を用い、folding, flattening, hanging, placing の4タスクで実衣服操作の性能を確認 - 具体的な評価指標・被験者数・試行回数などは要旨からは不明

- 要旨では限界や失敗事例、議論の詳細は明示されていない（要旨からは不明） - semantic keypoints の抽出信頼性や、VLM 計画の誤りへの頑健性に関する議論は要旨からは不明 - 多様な衣服種別・タスクへの汎化を主張するが、対象外の衣服やタスクへの適用範囲は要旨からは不明 - 実機検証は Franka dual-arm system 上の4タスクに限られ、より広い実環境での評価は要旨からは不明

- 要旨で比較対象として明示された個別の先行研究名は記載なし（state-of-the-art baseline とのみ記載） - 関連手法として、衣服操作における keypoint/part-based 表現を用いる研究（一般名：keypoint-based clothes manipulation） - VLM をロボットのタスク計画に用いる研究（一般名：vision-language model-based task planning） - 衣服の folding/flattening/hanging を扱うロボットマニピュレーション研究（一般名：robotic clothes folding） - デュアルアーム実機での衣服操作研究（一般名：dual-arm clothes manipulation）