Cybo-Waiter: ヒューマノイド全身移動操作のための物理エージェントフレームワーク

- 人間環境で自然言語指示を実行するhumanoid agent framework。 - VLM plannerが指示をtyped JSON subtask列に変換し、predicateベースのprecondition/success conditionを付与。 - SAM3とRGB-Dでtask relevant entitiesを3D groundingし、object centroid/extentを推定。 - stable frames上でpredicateを評価し、condition-level diagnosticsを取得。 - supervisorがsubtask完了を検証し、feedbackでprogression/replanning。 - locomotionとwhole-body manipulationをreachability/balance制約下でcoordinated実行。

- 従来のVLM planningはopen-ended指示を直接実行し、partial observability下のlong horizonで脆弱。 - 本手法はVLM planをverifiable task programに変換し、multi-object 3D geometric supervisionでloopを閉じる。 - これによりcondition-level diagnosticsとrecovery-driven replanningが可能。 - humanoidのlocomotion-manipulation couplingを明示的に扱う点が先行研究と異なる。 - 具体的な比較対象は要旨からは不明。

- VLM plannerが各指示をtyped JSON subtask列にcompile。 - 各subtaskにpredicate-based preconditionとsuccess conditionを明示。 - SAM3とRGB-Dでtask relevant entitiesを3D groundingし、centroid/extentを推定。 - stable frames上でpredicateを評価し、condition-level diagnosticsを生成。 - supervisorがdiagnosticsでsubtask完了をverifyし、feedbackでprogression/replanning。 - 各subtaskはreachability/balance制約下でfeasible motion primitivesを選択し、locomotionとwhole-body manipulationをcoordinate。

- tabletop manipulationとlong horizon humanoid loco-manipulationタスクで実験。 - multi-object grounding、temporal stability、recovery-driven replanningによるrobustness向上を確認。 - 具体的な評価指標やベースラインは要旨からは不明。

- multi-object grounding、temporal stability、recovery-driven replanningがrobustnessに寄与すると主張。 - partial observability下のlong horizon実行が課題。 - 限界や失敗事例、計算コスト、スケーラビリティの議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLM planner、SAM3、RGB-D、predicate-based task verification、humanoid whole-body loco-manipulationの定番研究を挙げる。