協調デルタ・3-RRSパラレルロボット挿入のための運動学認識型レインボー深層Q学習

- 本論文は、Delta parallel robotと3-RRS parallel manipulatorの協調によるpeg-in-hole挿入タスクに対して、Rainbow DQNを用いた運動学認識型の深層強化学習フレームワークを提案する。 - 学習前に3-RRSの幾何設計最適化を行い、特異点のないワークスペースを最大化し、強化学習ポリシーが探索できる安全領域を拡大する。 - 2つのマニピュレータは6自由度の制御可能な部分空間（Deltaの3並進、3-RRSの2回転と1並進）を構成し、peg-in-holeタスクはpeg軸周りの回転に不変であるため、タスク関連多様体は5次元となる。 - 協調挿入問題をマルコフ決定過程として定式化し、12次元状態ベクトルと12の離散行動（各制御自由度に正負の増分コマンド）を用いる。 - 形状化報酬は密な近接誘導、運動学・ワークスペース違反へのペナルティ、成功時のスパースボーナスを組み合わせる。 - Rainbow DQNはdouble Q-learning、dueling architecture、prioritized replay、multi-s…

- 従来のvanilla DQNエージェントや古典的なサンプリングベースプランナーと比較して、制約違反が減少し、安定したポリシー収束と信頼性の高い挿入を実現した。 - 幾何設計最適化を学習前に行うことで、特異点のないワークスペースを最大化し、強化学習ポリシーの探索安全領域を拡大する点が新しい。 - Rainbow DQNの複数の改良（double Q-learning、dueling architecture、prioritized replay、multi-step returns、noisy linear layers、distributional value head）を協調挿入タスクに適用した点が先行研究と異なる。 - 2段階カリキュラム学習を採用し、効率的な学習を実現している。

- 3-RRS parallel manipulatorの幾何設計最適化を学習前に行い、特異点のないワークスペースを最大化し、コンディショニングを改善する。 - 協調挿入問題をマルコフ決定過程として定式化し、12次元状態ベクトルと12の離散行動（6自由度×正負の増分コマンド）を定義する。 - 形状化報酬を設計し、密な近接誘導、運動学・ワークスペース違反へのペナルティ、成功時のスパースボーナスを組み合わせる。 - Rainbow DQNを採用し、double Q-learning、dueling architecture、prioritized replay、multi-step returns、noisy linear layers、distributional value headを統合する。 - 2段階カリキュラムで訓練する。

- 高忠実度運動学シミュレータで検証を行った。 - 安定したポリシー収束、信頼性の高い挿入、制約違反の減少を達成した。 - vanilla DQNエージェントおよび古典的なサンプリングベースプランナーと比較して性能を評価した。

- 要旨からは不明。

- vanilla DQN - 古典的なサンプリングベースプランナー - Rainbow DQNの構成要素（double Q-learning、dueling architecture、prioritized replay、multi-step returns、noisy linear layers、distributional value head）に関する原論文