批評家アーキテクチャの重要性：ヒューマノイドの移動操作における二重批評家と統一批評家の比較

- humanoid robot の loco-manipulation を単一 policy で学習する multi-objective RL の研究 - 単一の unified critic と、目的ごとに分けた dual critic を比較 - Unitree G1 (23 active DoF、うち17を policy 制御) を NVIDIA Isaac Lab で学習 - カリキュラムは静止 reaching から可変方向 target への walking へ段階的に進行 - critic architecture を multi-objective humanoid RL の設計変数として扱うべきと主張

- 従来は unified critic が自然な設計選択とされてきた - 同一計算予算下で dual critic が target 到達 3.5倍高速 (6.5 vs 22.6 sim steps) - throughput が 2倍 (14.3 vs 7.0 validated reaches per 1,000 steps) - validated reach rate も高い (65.2% vs 53.8%) - dual critic に anti-gaming reward を5つ追加しても改善なし (60.9% vs 65.2%) - imitation-learned policy の RL fine-tuning で unified critic が locomotion 勾配により pre-trained arm 挙動を抑制しうる点を示唆

- multi-objective RL で locomotion と manipulation を単一 policy に統合 - unified critic: 全目的の combined value を推定 - dual critic: disjoint な reward signal を持つ別々の critic - Unitree G1 (23 active DoF、17 policy-controlled) を NVIDIA Isaac Lab で学習 - 静止 reaching から可変方向 target への walking へ進む sequential curricula - 5つの anti-gaming reward 機構も dual critic 上で検討

- 同一計算予算下で両者を学習し standardized evaluation で比較 - target 到達速度、throughput、validated reach rate を指標に評価 - dual critic が 3.5倍高速、2倍 throughput、65.2% vs 53.8% の reach rate - anti-gaming reward 追加の dual critic は 60.9% で改善なし - ただし単一 seed であり、curriculum schedule・arm action 次元・locomotion reward 重みも異なる

- 著者らは critic 単独の効果ではなく2つの trained policy 間の efficiency gap と位置づけ - 両 run は curriculum schedule、arm action dimensionality、locomotion reward weight が異なる - 各 run は single seed のみ - 因果寄与を確立するには single-variable ablation が必要と明記 - unified critic が pre-trained arm 挙動を competing locomotion 勾配で抑制しうる可能性を議論

- imitation-learned policy の RL fine-tuning に関する研究 - multi-objective RL における critic architecture の設計 - Unitree G1 や NVIDIA Isaac Lab を用いた humanoid loco-manipulation - 要旨で参照・比較されている個別研究は明示されていないため、上記関連手法・環境が次の候補