移動操作/強化学習/リスク認識2026/3/1arXiv:2603.04579

移動操作のためのリスク認識強化学習

Risk-Aware Reinforcement Learning for Mobile Manipulation

移動マニピュレータのリスク認識行動を学習する手法を提案。分布強化学習でリスク中立な教師ポリシーを訓練し、歪みリスク指標でリスク調整した後、模倣学習で深度観測に基づく学生ポリシーに蒸留する。

詳しい要約

1. どんなもの？

- モバイルマニピュレーションのためのリスク認識型強化学習手法を提案。 - 自己中心的な深度観測に基づく視覚運動ポリシーを学習し、実行時にリスク感度を調整可能。 - リスク認識行動を模倣学習（IL）により転移させることに成功。 - 動的で非構造化環境での全身動作を実現。

2. 先行研究と比べてどこがすごい？

- 既存の全身コントローラは不確実性下でのリスク感受性意思決定の明示的メカニズムを欠く。 - 本研究は初めて、自己中心深度観測に条件付けられたリスク認識視覚運動ポリシーを学習し、実行時調整可能なリスク感度を実現。 - また、リスク認識行動をILで転移可能であることを示した点が新しい。

3. 技術・手法の肝は？

- 特権教師ポリシーをDistributional Reinforcement Learning (DRL)で訓練。リスク中立な分布的クリティックを使用。 - クリティックの予測リターン分布に歪みリスク指標を適用し、リスク調整済みアドバンテージ推定を計算。 - ポリシー更新にこれを用いて多様なリスク認識行動を実現。 - その後、ILで教師ポリシーを蒸留し、自己中心深度観測に条件付けられたリスク認識学生ポリシーを取得。

4. どうやって有効だと検証した？

- 広範な評価を実施し、訓練された視覚運動ポリシーがリスク認識行動を示すことを確認。 - 具体的には、最悪ケース性能が向上。 - 未マップ環境での反応的全身体動作を、ライブ深度観測を活用して実行。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Distributional Reinforcement Learning (DRL) に関する研究。 - Imitation Learning (IL) に関する研究。 - モバイルマニピュレーションの全身制御に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Michael Groom, James Wilson, Nick Hawes, Lars Kunze

分類: cs.RO

原文アブストラクト

For robots to successfully transition from lab settings to everyday environments, they must begin to reason about the risks associated with their actions and make informed, risk-aware decisions. This is particularly true for robots performing mobile manipulation tasks, which involve both interacting with and navigating within dynamic, unstructured spaces. However, existing whole-body controllers for mobile manipulators typically lack explicit mechanisms for risk-sensitive decision-making under uncertainty. To our knowledge, we are the first to (i) learn risk-aware visuomotor policies for mobile manipulation conditioned on egocentric depth observations with runtime-adjustable risk sensitivity, and (ii) show risk-aware behaviours can be transferred through Imitation Learning (IL) to a visuomotor policy conditioned on egocentric depth observations. Our method achieves this by first training a privileged teacher policy using Distributional Reinforcement Learning (DRL), with a risk-neutral distributional critic. Distortion risk-metrics are then applied to the critic's predicted return distribution to calculate risk-adjusted advantage estimates used in policy updates to achieve a range of risk-aware behaviours. We then distil teacher policies with IL to obtain risk-aware student policies conditioned on egocentric depth observations. We perform extensive evaluations demonstrating that our trained visuomotor policies exhibit risk-aware behaviour (specifically achieving better worst-case performance) while performing reactive whole-body motions in unmapped environments, leveraging live depth observations for perception.

arXivで原文を読む →arXiv概要ページ

← 論文一覧