ヒューマノイドの転倒回避可能性を監視する能動的到達可能性学習

- ヒューマノイドのタスク方策を実環境で動かす際に、転倒が回復不能になる前に検知して fallback を起動する runtime monitor を学習する研究。 - 与えられた fallback policy に対する確率的・有限ホライズンの recoverability envelope を学習する問題として定式化。 - 29-DoF Unitree G1 humanoid を含むベンチマークで評価し、実機へ zero-shot 転移。

- 既存手法は訓練データが recoverability envelope を自然に覆うと仮定するが、contact-rich 系ではそうしたデータ取得が大きなボトルネック。 - その結果、既存手法は真の envelope の一部しか回収できず、out-of-distribution (OOD) 入力に対して楽観的な hallucination を起こしやすい。 - 本研究は value learning と active exploration を統合し、monitor の coverage と accuracy を大幅に改善。

- value learning と active exploration を交互に反復する統合フレームワーク。 - データ探索を reach-avoid 問題として再定式化し、uncertainty-guided explorer が未見状態を体系的に探索しつつ、確信を持って unrecoverable な領域を回避。 - Temporal Difference と Monte Carlo を組み合わせた目的関数で、in-distribution の value 予測精度と信頼できる uncertainty 推定を両立。 - 残る高 uncertainty 領域を unrecoverable と明示的に扱い、OOD での楽観的 hallucination を抑制。

- 確率的ベンチマークと 29-DoF Unitree G1 humanoid で評価。 - monitor の coverage と accuracy が大幅に向上することを確認。 - 実世界ハードウェアへ zero-shot で転移できることを示した。

- 高 uncertainty 領域を unrecoverable とみなす設計により、OOD での楽観的 hallucination を抑える一方、未探索領域の扱いに関する議論があり得る。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、recoverability envelope を学習する既存 monitor 研究、reach-avoid 問題、Temporal Difference と Monte Carlo を組み合わせた value learning、uncertainty-guided exploration に関する文献を次に読むべき。 - 評価対象である Unitree G1 humanoid 上の fallback policy や contact-rich 系のデータ収集に関する研究も関連。