HyCodePolicy：身体性エージェントにおけるマルチモーダル監視と意思決定のためのハイブリッド言語コントローラ

- 本論文は HyCodePolicy とよばれる、embodied agents 向けの hybrid な言語ベース制御フレームワークを提案する。 - 自然言語 instruction から subgoal 分解と初期 executable program 生成を行う。 - 生成 program を simulation 上で実行し、VLM が checkpoint を観測して失敗検出・局所化・原因推定を行う。 - 実行 trace と VLM の知覚 feedback を統合して program を repair する閉ループ型の code policy 生成手法。

- 既存の MLLM を用いた code policy 生成は知覚的 grounding は進んだが、実行中の適応的 monitoring と code repair の仕組みが乏しいと指摘。 - HyCodePolicy は code synthesis、geometric grounding、perceptual monitoring、iterative repair を単一の closed-loop programming cycle に統合する点が特徴。 - これにより最小限の human supervision で self-correcting な program synthesis を実現しようとする。

- instruction を subgoal に分解し、object-centric geometric primitives に基づく初期 executable program を生成。 - simulation 実行中に VLM が選択された checkpoint を観測し、失敗の検出・局所化・原因推定を行う。 - program-level event を記録した structured execution trace と VLM の perceptual feedback を融合する hybrid dual feedback 機構。 - この融合情報から failure cause を推論し、program を反復的に repair する。

- simulation 上で program を実行し、VLM が checkpoint を観測する形で検証を行っている。 - 結果として robot manipulation policies の robustness と sample efficiency が有意に向上したと報告。 - 具体的な benchmark 名や比較手法、評価指標の詳細は要旨からは不明。

- 要旨では hybrid dual feedback により最小限の human supervision で self-correcting な synthesis が可能になると主張。 - scalable な multimodal reasoning 統合戦略として位置づけている。 - 限界や失敗ケース、VLM の誤検出影響、sim-to-real の議論などは要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として MLLM を用いた code policy generation、VLM による failure detection、program repair、object-centric geometric primitives を用いた robot manipulation の文献を次に読む候補として挙げる。