CoStream: 単純な行動の合成による汎用的な複雑操作の実現

- 長期的・接触リッチな複雑マニピュレーション（例: GPUをPCIeスロットに装着）を対象としたフレームワーク。 - 単一のmonolithic policyやrigid pipelineではなく、単純で独立したbehaviorの合成で複雑な能力を実現する。 - foundation modelsと多様なsensing modalitiesをorchestrateし、semantic/predictive/reactiveの3つのcore behaviorに分解する。 - 共有$SE(3)$インターフェース上で右乗算により合成し、compliant controllerで実行する。

- 従来のclassical pipelinesは高精度だがtask-specificで脆く、新タスクには高コストな再設計が必要。 - monolithic end-to-end policiesは汎化は良いが、複雑なout-of-distributionタスクでは高精度を欠き、新データでの再学習が必要。 - 両者とも「獲得した能力はrigid pipelineかmonolithic wholeとして展開される」という暗黙の前提を持つ。 - CoStreamは能力を自由に分解・再合成可能とし、単純behaviorの合成から複雑な能力を自然に創発させる点が新しい。

- foundation modelsと多様なsensing modalitiesを複数のcomposable core behaviorに編成する。 - semantic behavior: foundation modelsによりspatial constraintsを抽出。 - predictive behavior: imagined videos内のkeypointsを追跡してtrajectoryを予測。 - reactive behavior: 高周波のtactileおよびforce補正を提供。 - 共有$SE(3)$インターフェース上で各出力を右乗算により合成し、各制御ステップで単一のpose commandを生成、compliant controllerが実行する。

- 日常的マニピュレーションから精密assemblyまで8つのreal-worldタスクでCoStreamを実証。 - 特にcontact-rich assemblyとobject transferで最大の性能向上を示した。 - 実行中の手動perturbationsからのrobustなrecoveryも示した。

- 要旨からは不明（限界や失敗事例、計算コスト、behavior間の競合などの議論は記載されていない）。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてclassical pipelines、monolithic end-to-end policies、foundation models、compliant controllerが挙げられる。 - 同分野の定番としてbehavior composition、tactile/force-based manipulation、video predictionに基づくmanipulationの文献が次に読む候補となる。