FALCON: 力適応型ヒューマノイド移動操作の学習

ヒューマノイドのloco-manipulationにおいて、3D end-effector force interactionを伴う精密かつ堅牢なwhole-body controlを実現するフレームワークFALCONを提案した研究。 - dual-agent reinforcement-learningベースの枠組みで、whole-body controlを2つの専門agentに分解する。 - 下体agentが外力擾乱下での安定したlocomotionを担い、上体agentがend-effector位置を精密に追従し暗黙的なadaptive force compensationを行う。 - 実世界でpayload輸送(0-20N)、cart-pulling(0-100N)、door-opening(0-40N)といったforceful loco-manipulationタスクを複数のhumanoidで実現する。

先行研究は軽量タスクやquadruped/wheeledプラットフォームに限られがちであったのに対し、本手法はhumanoidでの3D end-effector force interactionを対象とする点が異なる。 - 比較baselineに対し、上体joint tracking精度が2倍向上。 - 外力擾乱下でも堅牢なlocomotionを維持し、訓練収束も高速化。 - embodiment固有のrewardやcurriculum tuningなしでpolicy trainingが可能となり、同一の訓練設定で複数humanoidに展開できる点を主張している。

whole-body controlを2つのspecialized agentに分解するdual-agent reinforcement-learningが肝。 - 下体agent: 外力擾乱下での安定locomotionを担当。 - 上体agent: end-effector位置の精密追従と暗黙的なadaptive force compensationを担当。 - 両agentをsimulationでjoint trainingし、end effectorに加える外力の大きさを段階的に増やすforce curriculumをtorque limitsの範囲内で適用。 - embodiment固有のreward/curriculum tuningを必要としない訓練設定を志向。

simulationでのjoint trainingに加え、実世界の複数humanoidへのdeploymentで検証。 - baseline比較で上体joint tracking精度が2倍、外力擾乱下のlocomotion堅牢性、訓練収束の高速化を報告。 - 同一訓練設定で得たpolicyを複数humanoidに展開し、payload輸送(0-20N)、cart-pulling(0-100N)、door-opening(0-40N)を実世界で実行。 - 詳細な評価プロトコルや被験体数などは要旨からは不明。

force curriculumの設計やtorque limitsの扱い、sim-to-realのギャップ、複数humanoidへの汎化の限界などが議論対象になり得るが、要旨からは不明。 - 主張としてembodiment固有のreward/curriculum tuningが不要とされるが、その一般性の範囲は要旨からは不明。 - 実世界タスクの力範囲(0-100N)を超える領域での性能や安全性は要旨からは不明。

要旨で参照/比較されているbaselineや関連手法の具体名は明示されていない。 - 同分野の定番として、humanoid loco-manipulationのwhole-body control、quadruped/wheeledプラットフォームでのloco-manipulation、sim-to-realのreinforcement learning、force-awareなmanipulation policyに関する論文を次に読むべき候補として挙げる。 - 具体的な論文名は要旨からは不明。