到達・引き寄せタスクにおける多様な道具使用行動の創発
Emergence of Different Modes of Tool Use in a Reaching and Dragging Task
物理シミュレーション環境で深層強化学習エージェントに道具を使って物体を目標位置まで引き寄せるタスクを学習させ、報酬設計に直接含まれない多様な道具使用行動が創発することを示した。
著者: Khuong Nguyen, Yoonsuck Choe
分類: cs.RO, cs.AI, cs.LG, cs.NE
原文アブストラクト
Tool use is an important milestone in the evolution of intelligence. In this paper, we investigate different modes of tool use that emerge in a reaching and dragging task. In this task, a jointed arm with a gripper must grab a tool (T, I, or L-shaped) and drag an object down to the target location (the bottom of the arena). The simulated environment had real physics such as gravity and friction. We trained a deep-reinforcement learning based controller (with raw visual and proprioceptive input) with minimal reward shaping information to tackle this task. We observed the emergence of a wide range of unexpected behaviors, not directly encoded in the motor primitives or reward functions. Examples include hitting the object to the target location, correcting error of initial contact, throwing the tool toward the object, as well as normal expected behavior such as wide sweep. Also, we further analyzed these behaviors based on the type of tool and the initial position of the target object. Our results show a rich repertoire of behaviors, beyond the basic built-in mechanisms of the deep reinforcement learning method we used.
関連論文
- タスク収束フローマッチングによる生成ロボティクスマニピュレーション
- 保持基準が視覚的リカバリ性能の評価を左右する:待機制御下での協調リカバリ分析マニピュレーション
- モデル情報を活用したロバスト幾何DDPCによるフィードバック線形化軌道追従マニピュレーション
- 学習済み力学系を用いた協調モバイルマニピュレーションマニピュレーション
- 内視鏡環境におけるMoveItを用いた逆運動学の改善マニピュレーション
- 複数の安定目標を持つ動作プリミティブを模倣学習するmulti-CONDORマニピュレーション
