LYRIC: 言語駆動の物理ベース全身接触リッチ物体インタラクション制御

言語指示と疎な終端物体ゴールから、物理シミュレーション上のキャラクタが接触の多い全身物体操作を行うための生成フローマッチング制御器 LYRIC を提案する研究。 - 入力: free-form language instruction と sparse terminal object goal - 出力: 接触を伴う whole-body object interaction の動作 - 構成: task-level planner と action generator に分解 - 対象: シミュレーション上の humanoid と物体の相互作用

先行研究と比べて、不完全な motion-capture 参照から信頼できる expert trajectory を得る点と、全身運動参照を規定せずに相互作用を進める点が特徴。 - 単一の tracking policy を geometry-conditioned interaction rewards と hand-object contact 付近の緩和された参照追従で学習 - 制御器を planner と action generator に分解し、閉ループで全身運動と接触を解決 - OMOMO 評価で tracker が 64.3% 成功、InterMimic 再実装の 53.2% を上回る - 統一 policy は OMOMO 全体で 76.5%、held-out split で 90.3% 成功、最強の matched kinematic-planner baseline の 74.2% を上回る - 再学習なしで test-time object-waypoint guidance に対応

技術の肝は、フローマッチングに基づく生成制御器を planner と action generator に分解し、接触リッチな全身操作を閉ループで実現する点。 - 不完全な motion-capture 参照から expert trajectory を得るため、geometry-conditioned interaction rewards と hand-object contact 近傍での緩和された参照追従を用いて単一 tracking policy を訓練 - task-level planner が短ホライズンの物体と humanoid-root の軌道を予測 - action generator が全身運動と接触を閉ループで解決 - behavior cloning 後に planner を凍結し、planner の予測を安定した supervision として action generator を on-policy で post-tune

OMOMO データセットを用いた制御評価で有効性を検証。 - tracker は 64.3% 成功、InterMimic 再実装は 53.2% - 統一 policy は OMOMO 全体で 76.5% - held-out split で LYRIC は 90.3% 成功、最強の matched kinematic-planner baseline は 74.2% - 意味的整合性と motion quality も向上 - 再学習なしで test-time object-waypoint guidance をサポート - 定性的に robust で自然な接触リッチ相互作用と、新規物体形状への zero-shot transfer を実証

議論として、全身運動参照を規定せずに相互作用を進める設計や、planner の予測を安定 supervision として使う post-tuning の有効性が示唆される。 - 不完全な motion-capture 参照への対処 - 接触リッチ操作における閉ループ制御 - 意味的整合性と motion quality の向上 - 新規物体形状への zero-shot transfer - ただし、要旨からは限界や失敗事例、計算コスト、実機転移の議論は不明

要旨で参照・比較されている研究として InterMimic と matched kinematic-planner baseline が挙げられる。 - InterMimic: 比較対象の再実装 - matched kinematic-planner baseline: 最強の比較手法 - 関連手法として、language-driven physics-based character control、flow-matching controller、whole-body object interaction、OMOMO データセットを用いた研究 - 同分野の定番として、physics-based character animation や human-object interaction の tracking policy に関する研究