祭りの映像から舞台へ：市販ヒューマノイドによる長時間表現型全身ダンスのためのSim-to-Realラダー

- 単眼動画から取得した日本の伝統舞踊 Awa Odori を、商用ヒューマノイド Unitree G1 EDU 上で全身表現ダンスとして実行させるパイプライン。 - 構成要素は human mesh recovery、kinematic retargeting、シミュレーション内の reinforcement learning による motion tracking、ONNX 経由のオンボード展開。 - 学習は単一の RTX 5070 GPU で実施。 - ハードウェア上で評価する 11 バージョンの deployment ladder を構築し、3 つの介入を検証。 - 最終 policy は 43 秒ルーチンのロープ無し 3 連続完走、自動 handoff 付き 46 秒演技、キャプチャ運動から構成した連続 9.7 分のロープ無し演技を達成。 - ライブ handover では単一の remote request で製造元の walking controller から開始・復帰し、torque-free window は 45-140 ms。

- 単眼ビデオからの伝統舞踊を商用ヒューマノイドへ転移する end-to-end パイプラインを示した点。 - 単一 GPU での学習と ONNX によるオンボード展開を組み合わせ、実機での長尺演技を実現。 - 11 バージョンの deployment ladder により、実機展開時の失敗と介入効果を体系的に評価。 - 製造元 walking controller とのライブ handover を remote request で実現し、torque-free window を計測。 - 先行研究との具体的比較は要旨からは不明。

- 単眼動画から human mesh recovery で人体運動を取得。 - kinematic retargeting により Unitree G1 EDU の関節空間へ変換。 - シミュレーション内で reinforcement learning による motion tracking policy を学習。 - 学習済み policy を ONNX に変換しオンボード展開。 - deployment ladder 上で、deployment artifact の silent corruption の検出・修復、学習中の state-estimator drift のモデル化、参照運動の編集による安定実行と制御された終了を実施。 - 製造元 walking controller との handover を remote request で制御。

- ハードウェア上で 11 バージョンの deployment ladder を評価。 - 最終 policy が 43 秒ルーチンをロープ無しで 3 連続完走。 - 自動 handoff 付き 46 秒演技を実現。 - キャプチャ運動から構成した連続 9.7 分のロープ無し演技を達成。 - ライブ handover で製造元 walking controller から開始・復帰し、torque-free window 45-140 ms を計測。 - 学習ダイナミクスとハードウェア結果を報告。

- compliant flooring と単眼キャプチャ時の occlusion に関する failure boundaries を議論。 - deployment artifact の silent corruption や state-estimator drift など実機展開上の問題を報告。 - 参照運動の編集が安定実行と制御された終了に寄与。 - 長尺演技の連続性や handover の torque-free window の実測値を提示。 - 一般化や他舞踊への適用可能性は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として human mesh recovery、kinematic retargeting、reinforcement learning for motion tracking、ONNX deployment の各文献を次に読むべき。 - 同分野の定番として sim-to-real transfer、humanoid motion retargeting、learning-based motion tracking の代表的論文を挙げる。