Benjamin Eysenbach
Princeton University
収録論文 33本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 価値強制:全ノイズレベルでリターン分布を整合させる新手法強化学習2026/11/1
フローマッチングでリターン分布を推定し、全ノイズレベルでベルマン整合性を課すことで、限られたデータでも正確な価値学習を可能にする手法を提案。
- 幾何的時間スコア推定器:自己予測表現と生成的占有モデルを橋渡しする強化学習手法強化学習2026/10/28
確率経路上で占有密度推定器を学習することで自己予測表現と生成的占有モデルを統合し、目標条件付き強化学習の性能を2〜6倍向上させた研究。
- 行動影響最大化による制御可能なワールドモデルの学習ワールドモデル2026/10/19
専門家デモのみで学習した動画生成ワールドモデルが指示行動を無視する問題を、データの行動影響度の上限として解析し、その影響度を能動的に高めるデータ収集アルゴリズムAIMを提案。操作タスクで少ないデータ量でも制御性を大幅改善。
- 超球面コントラスティブ表現による計画と探索の実現強化学習/計画2026/10/14
コントラスティブ表現を超球面上で学習し、球面線形補間により中間ウェイポイントを閉形式で推論することで、報酬やデモなしに長期タスクを計画・探索する手法を提案。
- LeAct: 専門家の行動から推論を学習する推論学習2026/7/23
専門家システムの行動から、その背後にある思考の連鎖を潜在変数として復元し、自然言語の推論として学習する手法を提案。ゲームやロボティクスで直接模倣を上回る性能を達成した。
- 占有報酬整形:オフライン目標条件付き強化学習におけるクレジット割り当ての改善強化学習2026/4/1
生成世界モデルから最適輸送を用いて幾何学的情報を抽出し、報酬関数を整形することで、スパース報酬環境でのクレジット割り当て問題を緩和する手法を提案。13の長距離タスクで2.2倍の性能向上を実証し、核融合制御にも応用。
- 時間的表現による探索:外部報酬なしでの複雑な探索行動の学習探索2026/3/2
時間的コントラスト表現を用いて、未来の予測が難しい状態を優先的に探索する手法を提案し、移動・操作・身体化AIタスクで複雑な探索行動を学習できることを示した。
- 単一表現で全ての報酬を最適化することは本当に可能か?強化学習2026/2/1
強化学習における教師なし事前学習の理論的理解を深め、後退・前進表現学習の新しい変種を提案し、ゼロショット性能を大幅に改善した。
- スケーラブルな目標条件付き強化学習のためのマルチステップ準距離学習目標条件付き強化学習2025/11/1
マルチステップモンテカルロリターンを用いて準距離を学習するオフライン目標条件付き強化学習手法を提案し、長期的な視覚タスクや実世界のロボット操作で有効性を示した。
- SLAP: 抽象プランニングのためのショートカット学習タスク・モーションプランニング2025/11/1
既存のタスク・モーションプランニングの選択肢を活用し、強化学習で新たなショートカット行動を自動発見することで、より短い計画と高い成功率を実現する手法を提案。
- 自己教師あり強化学習のための1000層ネットワーク:深さのスケーリングが新たな目標到達能力を可能にする自己教師あり強化学習2025/3/19
自己教師あり強化学習において、ネットワークを最大1024層まで深くすることで、目標到達タスクの成功率が2倍から50倍に向上し、学習される行動も質的に変化することを示した。
- GHIL-Glue: フィルタリングされたサブゴール画像による階層制御VLA2024/10/1
生成モデルが作るサブゴール画像をフィルタリングし、下位方策と効果的に繋ぐことで、言語条件付きロボット操作の汎化性能を向上させた研究。
- HIQL: 潜在状態を行動として用いるオフライン目標条件付き強化学習オフライン強化学習2023/7/1
オフラインの目標条件付き強化学習において、状態を行動として扱う高レベル方策とサブゴール到達の低レベル方策に階層分解することで、長距離タスクを安定して解く手法を提案した。
- 対照的な例ベース制御オフライン強化学習2023/7/1
高リターン状態の例から報酬関数を学習する代わりに、マルチステップ遷移の暗黙モデルを学習し、例ベース制御のQ値を表現するオフライン手法を提案。
- 単一目的で表現・潜在空間モデル・方策を学習するモデルベース強化学習の簡素化モデルベースRL2022/9/1
潜在空間モデルと方策を単一の目的関数で自己整合的に学習し、モデルベースRLのサンプル効率を向上させる手法を提案した。
- もうミスマッチはない:モデルベース強化学習のためのモデルと方策の同時最適化モデルベースRL2021/10/1
モデルの精度と方策性能の目的不一致を解消するため、モデルと方策を単一の目的関数で同時に学習する手法を提案し、連続環境で効率的に推定できる初の大域的下界を導出した。
- リカレントなモデルフリー強化学習は多くのPOMDPで強力なベースラインになり得るPOMDP/リカレントRL2021/10/1
リカレントネットワークを用いたモデルフリーRLの実装を丁寧に調整すると、POMDP向けの専用手法と同等以上に性能が出ることを21環境で示し、効率的な実装を公開した論文。
- 潜在ゴールモデルによる未知環境ナビゲーションの高速探索ナビゲーション2021/4/1
画像ゴールまでの距離と行動を潜在変数モデルで学習し、トポロジカルな画像メモリと組み合わせて、未知の障害物や天候の中でも80m先のゴールを20分以内に探索・到達する移動ロボットシステムを実現した。
- 実行可能モデル:ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- 最大エントロピーRLは一部のロバストRL問題を(証明付きで)解決するロバストRL2021/3/1
最大エントロピー強化学習がロバストRL目的の下界を最大化することを理論的に証明し、動力学や報酬の摂動に対する頑健性を追加の工夫なしに持つことを示した論文。
- 報酬の代わりに成功例でタスクを指定する強化学習強化学習2021/3/1
成功例の遷移から直接価値関数を学習し、報酬関数を介さずに将来の成功確率を最大化する制御アルゴリズムを提案した論文。
- 自己教師あり機能距離を用いたモデルベース視覚計画モデルベース計画2020/12/1
オフラインのラベルなしデータのみから視覚ダイナミクスモデルと動的距離関数を学習し、目標観測を指定するだけで多様なタスクを達成するモデルベース視覚計画手法を提案した。
- ViNG: 視覚ゴールによるオープンワールドナビゲーションの学習ナビゲーション2020/12/1
ゴール画像を指定して目的地へ移動するナビゲーションシステムViNGを提案し、実機の屋外移動ロボットで従来のゴール条件付き強化学習手法を上回る性能を示した。
- f-IRL:状態周辺分布マッチングによる逆強化学習逆強化学習2020/11/1
エージェントと専門家の状態分布間のfダイバージェンスの解析的勾配を導出し、専門家密度から定常報酬関数を復元するf-IRLを提案。サンプル効率と必要専門家軌跡数で敵対的模倣学習を上回り、下流タスクや動力学変化への行動転移にも有効。
- 安全を学ぶ:安全クリティックを用いた深層強化学習安全強化学習2020/10/1
安全な環境で安全性を学習し、その直感を新たなタスクの制約に転移する安全制約付き転移学習を提案。ナビゲーション・四足歩行・器用な手先操作で、事故を大幅に減らしつつ学習を高速化・安定化できることを示した。
- 強化学習デバッグのための対話的可視化ツール可視化/強化学習2020/8/1
強化学習アルゴリズムのデバッグと解釈を支援する対話的な可視化システムを設計・実装し、その利用ワークフローの例を示した。
- ダイナミクス差異を補正する強化学習:ドメイン分類器による転移学習sim2real2020/6/1
ソースとターゲットの遷移を識別する補助分類器を学習し、その出力で報酬を修正することで、明示的なダイナミクスモデルなしにドメイン適応を実現する手法を提案した論文。
- 意味のあるタスク空間を弱教師あり学習で切り出す強化学習強化学習2020/4/1
弱い監督信号を用いて、無意味なタスクの巨大な空間から意味的に整合したタスク部分空間を自動的に分離する枠組みを提案し、探索効率と状態間距離の表現獲得を改善した。
- 逆強化学習で履歴を書き換える:方策改善のための後付け推論マルチタスクRL2020/2/1
後付けの報酬付け替えが逆強化学習と等価であることを示し、それを用いて任意のタスククラスへ目標付け替えを一般化してマルチタスクRLの学習を加速した論文。
- リプレイバッファ上の探索:計画と強化学習の橋渡し計画/強化学習2019/6/1
強化学習の価値関数を用いてリプレイバッファからグラフを構築し、長期的な目標到達タスクを計画と強化学習の組み合わせで解く手法を提案した論文。
- 状態周辺分布マッチングによる効率的な探索強化学習探索2019/6/1
強化学習の探索を状態周辺分布と目標分布の一致問題として定式化し、状態密度モデルと方策の二人零和ゲームとして最適化する手法を提案した論文。
- 多様性こそがすべて:報酬関数なしでスキルを学ぶ教師なし強化学習2018/2/1
報酬関数を使わずに情報理論的目的関数を最大化することで、歩行やジャンプなど多様なスキルを教師なしで獲得する手法DIAYNを提案した論文。
- 痕跡を残さず:安全で自律的な強化学習のためのリセット学習強化学習2017/11/1
順方向ポリシーとリセットポリシーを同時に学習し、非可逆状態に入る前に自動で安全に中断することで、人手によるリセットを大幅に削減する強化学習手法を提案した論文。
