言語から運動へ：動作潜在ガイダンスによるリターゲティング不要なヒューマノイド制御

- 言語から humanoid の locomotion を直接制御する枠組み「RoboGhost」の提案 - retargeting-free を掲げ、言語に接地した motion latent に humanoid policy を直接条件付け - 拡散ベース policy が noise から実行可能 action を直接 denoise - hybrid causal transformer-diffusion の motion generator で長期的整合性を担保 - 実機 humanoid 上での動作を報告し、image・audio・music 等への拡張可能性にも言及

- 既存の言語誘導 humanoid locomotion は多段パイプラインで煩雑かつ信頼性に難 - 従来は human motion を decode し robot morphology へ retarget し physics-based controller で追従 - この多段構成は cumulative errors・高 latency・semantics と control の弱い結合が問題 - RoboGhost は motion decoding と retargeting を省略し、言語から action への直接経路を実現 - 結果として deployment latency を大幅削減し、success rate と tracking precision を改善

- 言語に接地した motion latent を humanoid policy の条件として直接用いる設計 - 明示的な motion decoding と retargeting を回避し、意味意図を保持 - diffusion-based policy が noise から executable action を直接 denoise し、高速で反応的な制御を可能に - hybrid causal transformer-diffusion motion generator が long-horizon consistency を確保 - 安定性と多様性を両立し、精密な humanoid 挙動のための豊かな latent 表現を生成

- Extensive experiments を実施したと記載 - deployment latency の大幅な削減を確認 - success rate と tracking precision の向上を確認 - 実機 humanoid 上で滑らかかつ意味的に整合した locomotion を生成 - 具体的なベースライン・データセット・指標の詳細は要旨からは不明

- 多段パイプラインの cumulative errors・latency・弱い意味-制御結合という課題意識を提示 - retargeting-free により脆弱な中間段階を排除する主張 - 実機での有効性を示す一方、限界や失敗事例の詳細は要旨からは不明 - 言語以外の image・audio・music への拡張性を主張するが、その検証範囲は要旨からは不明

- 要旨で比較対象として挙げられる既存の言語誘導 humanoid locomotion パイプライン（motion decoding・retargeting・physics-based controller を用いる手法） - diffusion-based policy に関する先行研究 - hybrid causal transformer-diffusion の motion generation 関連研究 - vision-language-action humanoid systems の関連研究 - 個別の論文名・著者名は要旨からは不明