I-BFM: 教師なし強化学習による報酬条件付きロバストヒューマノイドインタラクション

本論文は、humanoid-object interaction のための初の Behavioral Foundation Model (BFM) である I-BFM を提案する。 - 単一の humanoid policy で多様な全身制御を実現する BFM の一般性を、物理的相互作用へ拡張する。 - タスク固有の policy や reference tracking に依存せず、forward-backward representations と unsupervised reinforcement learning を用いて、humanoid・object・contact の結合ダイナミクスの共有表現を学習する。 - 下流タスクの reward が与えられると、同じ policy を latent command に条件付けするだけで、タスク固有の policy 最適化なしに closed-loop interaction を実行できる。 - 単一の I-BFM policy が carrying, pushing, kicking に加え、goal reaching, mot…

従来の BFM は多様な全身制御を単一 policy で実現したが、物理的相互作用への一般化は困難であった。 - 既存の相互作用研究はタスク固有 policy や reference tracking に依存し、汎用性・頑健性に限界があった。 - I-BFM は humanoid-object interaction に特化した初の BFM であり、タスク固有の policy 最適化を必要としない。 - 名目実行からの大きな逸脱後も有効性を維持し、Carry では 94.3% の名目成功率、ロボット転倒後も 89.3% の成功率を保持する。 - 比較対象の planning-based baseline は転倒後 1.3% であり、大幅な頑健性向上を示す。

技術の肝は、forward-backward representations と unsupervised reinforcement learning を組み合わせ、humanoid・object・contact の結合ダイナミクスを共有表現として学習する点にある。 - 下流タスクの reward が与えられると、その reward に条件付けられた latent command を policy に入力し、closed-loop interaction を実行する。 - 異なる時間スケールの制御に対応するため、短期的な interaction target と長期的な goal target の両方で policy を訓練する。 - これにより、タスク固有の再訓練なしに多様な loco-manipulation 行動やタスク連鎖を実現する。

シミュレーションと実機の両方で検証している。 - シミュレーションでは Carry タスクで 94.3% の名目成功率、ロボット転倒後も 89.3% の成功率を達成し、planning-based baseline の 1.3% を大きく上回る。 - 実機では Unitree G1 を用い、多様な loco-manipulation 行動、相互作用失敗や外乱からの迅速な回復、タスク固有の再訓練なしでのタスク連鎖を実証している。

要旨からは、限界や未解決の議論について明示的な記述はない。 - 提案手法の有効性と頑健性が強調されているが、失敗事例や適用範囲の制約、計算コスト、実世界での安全性などに関する議論は要旨からは不明である。

要旨で参照・比較されている研究として、Behavioral Foundation Models (BFMs) と planning-based baseline が挙げられる。 - 関連手法として forward-backward representations や unsupervised reinforcement learning が用いられている。 - 同分野の定番として、humanoid whole-body control や loco-manipulation に関する研究、および Unitree G1 を用いた実機実験の論文が次に読むべき候補となる。