ClothDojo: 両腕ロボットによる衣類の平坦化・折り畳みのための学習データ生成とベンチマーク

- ClothDojo は、二本腕ロボットによる衣類の flattening（平坦化）と folding（折り畳み）のための simulation platform - 多様な garment と初期状態に対して adaptive manipulation trajectories を大規模に生成 - 生成した trajectory を用いて closed loop で policy を評価・benchmarking する - 各 garment の canonical mesh coordinates を NOCS texture としてエンコードし、pretrained vision-language-action model の視覚入力に canonical surface-position cues を与える - 人手の demonstrations と corrections で fine-tune した data-generation policy が自律的に trajectory を生成し、成功基準を満たす rollout のみを保持 - 保持 trajector…

- 先行研究との具体的比較は要旨からは不明 - 主張されている利点は以下 - 多様な garment・初期状態にわたる adaptive manipulation trajectories を大規模に自動生成できる - 生成 trajectory で学習した RGB policy が、元の human demonstrations と corrections で直接学習した policy を全 garment split・appearance 設定で上回る - NOCS texture を介して pretrained vision-language-action model に canonical surface-position cues を渡す設計 - 数百 garment 規模で約 8,000 の成功 trajectory を生成できる点を規模面の特徴として述べている

- 各 garment の canonical mesh coordinates を NOCS texture として付与し、視覚インターフェース経由で pretrained vision-language-action model に canonical surface-position cues を入力 - human demonstrations と corrections で model を fine-tune し、data-generation policy を獲得 - この policy が simulation 上で manipulation trajectories を自律生成し、task 固有の success criteria を満たす rollout のみを保持 - 保持した各 trajectory をランダムにサンプルした appearance で再レンダリングし、NOCS 非入力の downstream policy 向け RGB 観測を生成 - 生成データで RGB policy を学習し、closed loop で評価

- 両 task で数百 garment にわたり約 8,000 の成功 trajectory を生成したと報告 - 生成 trajectory で学習した RGB policy を、元の human demonstrations と corrections で直接学習した policy と比較 - 全 evaluated garment splits および appearance 設定で生成データ学習 policy が上回った - 複数の policy model で評価し、総合性能と appearance robustness が model・task 間で異なること、unseen garments への generalization が共通課題であることを示した

- 複数 policy model の評価で、総合性能と appearance robustness に model・task 間の差があることを報告 - unseen garments への generalization が共通の課題として残ると述べている - simulation 上での生成・評価であり、real robot への転移に関する議論は要旨からは不明 - 生成 trajectory の成功基準や保持率の詳細、失敗 trajectory の分析は要旨からは不明

- 要旨で直接参照・比較されている個別研究は明記されていない - 関連手法として以下が挙げられる - vision-language-action model（本手法が fine-tune に用いる基盤） - NOCS（canonical mesh coordinates を texture 化する表現） - human demonstrations と corrections による imitation learning - 同分野の定番として、bimanual garment manipulation の benchmarking 研究や deformable object manipulation の policy learning 研究を次に読む候補として挙げる