マルチクリティック学習による全身エンドエフェクタのツイスト追従制御

- 四脚ロボットに搭載したロボットアームの全身制御を、単一の強化学習(RL)ポリシーで学習するフレームワーク。 - locomotion と arm motion の相反する目標を扱い、end-effector の速度(twist)を直接制御できる。 - 離散的な pose だけでなく motion trajectory の追従も可能にする。

- 従来の RL は pose-based task specification のため end-effector velocity を直接制御できず、滑らかな軌道実行が困難だった。 - 単一 critic では locomotion と manipulation の報酬が混在し、相反する目標の調整が難しかった。 - 提案手法は multi-critic で報酬を分離し、twist-based なタスク定式化で速度制御を可能にした点が新しい。

- multi-critic actor アーキテクチャを導入し、locomotion と manipulation の報酬信号を分離。 - これにより報酬チューニングを簡素化し、ポリシーがタスク間の衝突をより効果的に解消できる。 - twist-based end-effector task formulation を設計し、離散 pose と motion trajectory の両方を追従可能にした。

- 四脚ロボット+ロボットアームを用いた simulation および hardware 実験で検証。 - 得られた controller は歩行しながら end-effector を動かせることを確認。 - 明示的な定式化なしに、base が arm の workspace 拡張を助ける emergent whole-body behaviors が観察された。

- locomotion と manipulation の目標衝突(例: 効率的な歩行は水平な base 姿勢を好むが、end-effector 追従は reachability 拡張のため base 傾斜が有利)を multi-critic でどう解消するかが議論の焦点。 - 報酬分離によるチューニング簡素化とタスク衝突解消の効果が主張される。 - 具体的な限界や失敗ケースについての詳細は要旨からは不明。

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として、pose-based task specification を用いる既存の RL 全身制御研究や、quadruped robot の locomanipulation に関する研究を次に読むべき候補として挙げる。