コード飛行：能動的な視覚・物理フィードバックによる空中マニピュレーションのための身体性コーディングエージェント

本論文は、自然言語指示から実行可能プログラムを生成し、実行フィードバックで改良する Embodied Coding Agents を Aerial Manipulation に適用する研究。Aerial Manipulation では payload 制約により onboard camera の視野が限られ、task-critical な結果が視野外になる partial observability と、強い dynamic coupling と限られた control margin による fragile な物理相互作用（limited interaction robustness）が生じ、実行フィードバックだけでは失敗原因が未解決になる。そこで Active Feedback (AF) という active "View and Probe" フレームワークを導入し、未解決の問いに対して simulation 上で診断プログラムを合成し、未観測の結果を情報量の多い視点から調べる View と、失敗原因の仮説を標的型物理相互作用で検証する Probe を行う。

従来の Embodied Coding Agents は、実行フィードバックがタスク成功の有無を明らかにし、失敗後にはプログラム改訂を導く十分な証拠を与えると仮定していた。Aerial Manipulation では partial observability と limited interaction robustness のためこの仮定が崩れ、同じフィードバックを再検討しても未収集の観測は回復できず、利用可能な証拠では区別できない失敗原因も分離できない。AF は不足する証拠を能動的に取得する点で先行研究と異なる。

AF は active "View and Probe" フレームワーク。実行フィードバックが未解決の問いを残すとき、agent は simulation で動作する別個の diagnostic program を合成する。View では未観測の結果を情報量の多い視点から検査し、Probe では標的型物理相互作用を通じて失敗原因の仮説を検証する。これにより executable diagnosis が実行フィードバックのギャップを埋める。

6 つの simulated aerial manipulation tasks で各条件 60 trials を実施。同じ coding-agent 構成と同じ task-execution limit の下で、terminal feedback と比較して AF は false completion declarations を 25 から 5 に減らし、final task success を 31.7% から 75% に向上させた。さらに shared robot APIs を用い、simulation で AF により改良された task programs が task-program source-code の修正なしに physical aerial manipulator 上で動作し、実世界で multi-stage manipulation tasks を完了した。

結果は、executable diagnosis が embodied coding agents の実行フィードバックのギャップを埋め、aerial manipulation における completion assessment と program refinement の両方を改善することを示す。一方、要旨からは AF の計算コスト、sim-to-real ギャップ、他のロボット系への一般化可能性、失敗モードの限界については不明。

要旨で参照/比較されているのは terminal feedback と Embodied Coding Agents の既存手法。関連手法として executable program synthesis、sim-to-real transfer、active perception、aerial manipulation の研究が挙げられる。具体的な論文名は要旨からは不明。