深層強化学習におけるSO(3)行動表現の入門

- ロボティクス制御で不可欠な SO(3) 上の姿勢行動を対象に、Deep Reinforcement Learning における回転行動表現を体系的に扱う入門的・実証的研究。 - Euler angles、quaternions、rotation matrices、Lie algebra coordinates といった代表的表现の制約と失敗モードを整理。 - PPO、SAC、TD3 の3つの連続制御アルゴリズムで、dense reward と sparse reward の両条件下で比較評価。 - 探索、entropy regularization、training stability への影響を実験的に分析し、実装向けガイドラインを提示。

- 従来、SO(3) 表現のトレードオフは supervised learning でよく研究されてきたが、強化学習の行動としての含意は不明確だった。 - 本研究は PPO、SAC、TD3 という主要な連続制御アルゴリズム横断で、dense/sparse reward 下の行動表現を系統的に比較。 - 表現が探索や entropy regularization、training stability に与える影響を定量化した点が新しい。 - Euclidean ネットワーク出力から有効な回転を得る projection の影響も分析対象としている。

- SO(3) には大域的で滑らかな最小パラメータ化が存在しないため、複数の表現（Euler angles、quaternions、rotation matrices、Lie algebra coordinates）を比較。 - 各表現を PPO、SAC、TD3 の行動空間に組み込み、dense reward と sparse reward の両方で評価。 - 表現が探索、entropy regularization、training stability に与える影響を実験的に分析。 - Euclidean 出力から有効な回転への projection の違いも検討。 - 結果として、local frame における tangent vectors として行動を表す方法が最も信頼できると報告。

- 一連の robotics benchmarks 上で、3アルゴリズム×複数表現×dense/sparse reward の条件で実験。 - 探索、entropy regularization、training stability への影響を実証的に比較。 - 表現選択の実用的影響を定量化し、実装可能なガイドラインを導出。 - 詳細なベンチマーク構成や指標は要旨からは不明。

- 表現が誘起する幾何構造が探索と最適化に強く影響することを強調。 - local frame の tangent vectors 表現がアルゴリズム横断で最も信頼できると結論。 - 一方で、各表現の失敗モードや projection の詳細、計算コスト、実機適用性についての議論は要旨からは不明。

- 要旨で直接参照・比較されている個別論文は明示されていない。 - 関連手法として、PPO、SAC、TD3 の原論文、および SO(3) 上の supervised learning における回転表現研究（Euler angles、quaternions、rotation matrices、Lie algebra coordinates の比較）を次に読む候補として挙げる。 - プロジェクトページ amacati.github.io/so3_primer およびコードも参照候補。