一般化と誘導：少数ショット逆強化学習のための報酬分解

本論文は、Few-Shot Inverse Reinforcement Learning (FM-IRL) という新しい問題設定を提案し、そのための手法 Multitask discriminator Proximity-Guided IRL (MPG) を導入している。FM-IRL では、目標タスクのデモンストレーションが少数しかない一方で、関連するタスクのデモンストレーションとオンラインのエージェント経験が十分にある状況を想定する。MPG は、関連タスク間で共有される構造を転移して新しいタスクの専門家行動を識別する一般化可能な discriminator と、状態が専門家行動からどれだけ逸脱しているかを測定し探索中に修正的ガイダンスを提供する proximity function という2つの補完的な報酬成分を学習する。

従来の IRL は、目標タスクのデモンストレーションが豊富にあることを前提としているが、実世界ではタスクのバリエーションが大きく、すべてのシナリオを網羅するデモを集めるのは非現実的である。また、関連タスクのデータを活用する多タスク IRL や Few-Shot IRL の研究はあるが、目標タスクのデモが少ない場合に、関連タスクの知識を転移しつつ、エージェントが逸脱した際のガイダンスを提供するという2つの課題を同時に扱う点が新しい。MPG は、報酬を一般化可能な discriminator と proximity function に分解することで、この2つの課題に対処している。

MPG は、報酬関数を2つの成分に分解する。第一に、関連タスクのデモンストレーションを用いて学習された discriminator であり、これはタスク間で共有される特徴を捉え、新しいタスクにおける専門家行動を識別する。第二に、proximity function であり、これは状態が専門家の状態分布からどれだけ離れているかを測定し、エージェントが専門家軌道から逸脱したときに修正的な報酬を与える。これにより、エージェントは探索中に専門家行動に引き戻される。具体的な学習アルゴリズムは要旨からは不明だが、2つの成分を同時に学習し、オンラインのエージェント経験を利用して反復的に改善するものと考えられる。

複数の挑戦的なナビゲーションおよび操作タスクにおいて、オブジェクトの配置、テーブルのレイアウト、初期ロボットのポーズなどの大きなバリエーションを伴う設定で実験を行った。その結果、平均成功率 81.2% を達成し、最強の per-task baseline を平均 24.7 パーセントポイント上回った。

要旨からは、手法の限界や仮定についての議論は不明である。しかし、FM-IRL の設定では、関連タスクのデモンストレーションが十分にあることが前提であり、関連タスクが目標タスクと十分に類似している必要がある。また、proximity function の設計や、 discriminator の一般化性能がタスク間の差異にどの程度影響されるかなどが議論の余地があると考えられる。

要旨で参照されている先行研究や関連手法は明示されていないが、Inverse Reinforcement Learning (IRL) の基礎研究、Few-Shot Learning、Multi-Task Learning、Adversarial IRL (例えば GAIL) などが関連する。次に読むべき論文としては、IRL の古典である Abbeel & Ng (2004) や、Adversarial IRL の代表である Fu et al. (2018) などが挙げられる。