COWBOY: 文脈的全身体マニピュレーションを学習するスケーラブルなsim-to-realフレームワーク

- COWBOYは、mobile manipulatorが物体だけでなく周囲の空間的文脈（baseの配置、操作方法、周囲のscene geometryを見る位置）に適応するcontextual whole-body manipulationを学習するためのscalableなsim-to-realフレームワーク。 - whole-body dexterous graspingを対象に、数百の物体や多様なin-the-wildシーン（散らかったtabletop、shelf、drawer、非構造環境）へzero-shot transferする。 - 最終的に単一のvision policyがpoint-cloud観測からmobile base、arm、dexterous hand、actuated cameraを制御する。

- 従来のようにsimulationでRLにより直接scene adaptationを学習するのではなく、vectorizedなenvironment-aware whole-body controller (WBC)で数千sceneのreachingを処理する点が特徴。 - local RL expertsを局所sceneで学習し、数千のfull-scene layout間で再利用可能にする構成が先行研究との差異として示唆される。 - 要旨からは具体的な比較対象研究や定量的な先行研究比較は不明。

- vectorized environment-aware WBCがbase-arm motionのcoordinating、collision avoidance、active visionを行い、数千sceneでのreachingを担当。 - local RL expertsをlocal sceneで物体interaction向けに学習し、full-scene layout間で再利用。 - 構成されたWBC-RL teachersを単一のvision policyへdistillし、point-cloud観測からbase、arm、hand、cameraを制御。

- whole-body dexterous graspingにおいて、数百の物体と多様なin-the-wild scene（cluttered tabletop、shelf、drawer、非構造環境）へのzero-shot transferを実証。 - 結果のpolicyがsceneと物体geometryに応じてbase placement、camera viewpoint、arm trajectory、grasp strategyを自動適応するcontextual whole-body behaviorを示すと報告。 - 定量的な評価指標やbaseline比較の詳細は要旨からは不明。

- 要旨からは明示的な議論・限界・失敗事例は不明。 - WBCとlocal RL expertsのcompositionおよびdistillationによる単一vision policy化が、scene適応と汎化にどう寄与するかが論点として読み取れる。 - sim-to-real gapやin-the-wildでの安全性・信頼性に関する議論の有無は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、sim-to-real transfer、whole-body control (WBC)、dexterous grasping、mobile manipulation、vision policy distillation、point-cloudに基づくmanipulationの代表的文献を次に読む候補として挙げる。