静的入力・動的出力：移動物体操作のための反事実行動拡張

本論文は、静止物体のデモンストレーションのみで訓練された視覚運動ポリシー（Visuomotor Policy）が、テスト時に未知の物体運動へ適応できるようにするための手法「Static In, Dynamic Out (SIDO)」を提案している。SIDOは、移動物体操作を「物体がどこに行くかを予測する」と「その予測された姿勢に到達する」という2つのサブ問題に分解する。訓練時には、物体を反事実的な未来位置に移動させ、デモンストレーションのアクションチャンクを手と物体の相対姿勢を保つように変形することで、目標条件付きポリシーを学習する。展開時には、物体姿勢予測器が未来位置を供給する。

従来の視覚運動ポリシーは、実行中に物体が静止している操作タスクでは進歩してきたが、実際の環境では物体が動く（コンベア上の部品、風に揺れる果物など）という前提が破られる。SIDOは、静止物体のデモンストレーションのみから、動く物体への適応を可能にする点で優れている。物体の動きを明示的にモデル化せず、反事実的拡張とアクション変形により、物体運動のパターンに依存しない適応を実現している。

SIDOの核心は、物体を反事実的な未来位置に移動させ、デモンストレーションのアクションチャンクを手と物体の相対姿勢を保つように変形することである。これにより、目標条件付きポリシーが学習される。展開時には、物体姿勢予測器が未来位置を予測し、その位置に到達するようにポリシーが動作する。

3つのシミュレーションタスク（Mug, Square, Stack）と5つの物体運動パターン、および2つの実世界タスク（Gantry, Peachtree）で評価した。SIDOは、ベースラインと比較して移動物体の成功率を向上させ、静止物体の性能も維持した。

要旨からは、SIDOの限界や議論についての詳細は不明である。ただし、物体運動の予測が外れた場合のロバスト性や、複雑な物体運動への一般化、実世界でのノイズに対する感度などが議論の対象となる可能性がある。

要旨で参照されている研究や関連手法は明示されていないが、同分野の定番として、視覚運動ポリシー（Visuomotor Policy）、行動クローニング（Behavior Cloning）、目標条件付き強化学習（Goal-Conditioned Reinforcement Learning）、物体姿勢推定（Object Pose Estimation）などに関する論文が挙げられる。