Sergey Levine
UC Berkeley
収録論文 319本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- MAC-v2: ピクセル入力からの長期的モデルベース価値展開オフライン強化学習2026/11/4
再構成不要の潜在ワールドモデルとアクションチャンキングを組み合わせ、ピクセルベースのオフライン強化学習で長期的なモデルベース価値展開を実現した手法MAC-v2を提案。
- 幾何学的サポートによる行動正則化でオンライン強化学習を改善強化学習2026/11/3
事前学習済み方策のサポートからの距離に基づいて罰則を与えるGSBRを提案し、サブ最適行動の排除と改善の両立を実現、4つのロボットベンチマーク19タスクで成功率を33%から95%に向上させた。
- 価値強制：全ノイズレベルでリターン分布を整合させる新手法強化学習2026/11/1
フローマッチングでリターン分布を推定し、全ノイズレベルでベルマン整合性を課すことで、限られたデータでも正確な価値学習を可能にする手法を提案。
- ロボットデータ接種：人間とAIの協調による高カバレッジ実演データ収集模倣学習2026/10/28
人間の遠隔操作に学習中の残差ポリシーで摂動を加え、失敗からの回復実演を効率的に収集する共有制御フレームワークを提案し、実機3タスクで有効性を示した。
- 行動クローニングの謎を解明するベンチマークOCBench模倣学習2026/10/5
人間のデモに似た性質を持つスクリプトポリシーでロボット操作ベンチマークOCBenchを構築し、行動クローニングにまつわる数々の不思議な現象を制御された環境で再現・分析できるようにした。
- 待ち時間に学習する：推論遅延下での汎用ロボットポリシーのRLファインチューニングRL/遅延対応2026/8/24
推論遅延がRLのマルコフ性を壊す問題に対し、非同期推論と状態拡張で遅延を隠蔽しつつRL改善を可能にするフレームワークARLIを提案。シミュレーションと実機で有効性を実証した。
- 行動チャンキングがロボット制御における行動クローニングの性能を向上させる理由ロボット制御2026/8/3
行動チャンキングの性能向上の理由を実験的に検証し、既存の仮説が不十分であることを示し、遅延ポリシーや暗黙のアンサンブル効果が重要であることを明らかにした。
- フロー逆転ステアリングによるロボット汎用ポリシーの性能向上操作2026/6/1
フローマッチングに基づく汎用ロボットポリシーに対し、不完全な行動を逆フローで潜在ノイズに変換し、近傍の高品質な行動モードへ写像する手法を提案。シミュレーションと実機でゼロショット制御や強化学習の改善に効果を示した。
- SC3-Eval: 自己整合的なビデオ生成によるロボット基盤モデルの評価評価2026/6/1
ロボット操作ポリシーの実世界評価を、アクション条件付きビデオ世界モデルを用いてスケーラブルに代替する手法を提案。前方・逆方向ダイナミクス整合性、クロスビュー整合性、テスト時整合性の3つの整合性を課すことで、正確なポリシー評価を実現する。
- 成功訪問マッチングによるプロセス報酬学習でRLを効率化強化学習2026/6/1
スパースな報酬を、成功・失敗エピソードを判別する識別器を使って密なプロセス報酬に変換し、ロボット操作タスクのRL微調整を高速化する手法を提案した。
- 意味的強化学習による汎用ロボットポリシーの適応強化学習2026/6/1
汎用ロボットポリシーを強化学習で適応させる際、アクション空間ではなく言語プロンプト空間を最適化する手法を提案し、複雑な長期的タスクを解決できることを示した。
- OGPO: 生成制御ポリシーのサンプル効率的な完全ファインチューニングロボット学習2026/5/1
拡散やフローベースの生成制御ポリシーを、オフポリシーな批判ネットワークとPPO目的関数を用いて効率的にファインチューニングする手法OGPOを提案し、操作タスクで最先端の性能を達成した。
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- RLトークン：視覚言語行動モデルを用いたオンライン強化学習のブートストラップVLA/強化学習2026/4/1
事前学習済みの視覚言語行動モデル(VLA)にRLトークンと呼ばれる小型の表現を追加し、その上で強化学習を行うことで、実ロボット上で数時間の練習だけで効率的に微調整できる手法を提案した。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- 操縦可能な視覚-言語-行動ポリシーによる身体性推論と階層制御VLA2026/2/1
サブタスクや動作、ピクセル座標など多様な抽象度の合成コマンドでVLAを訓練し、VLMの知識を低レベル行動に反映させて汎化性能を高める手法を提案。
- SteerVLA：長尾運転シーンで視覚言語行動モデルを操舵する自動運転/VLA2026/2/1
VLMの常識推論で細かい言語指示を生成し、VLA運転ポリシーを操舵する手法を提案。閉ループベンチマークで長尾シーンの性能を大幅に改善した。
- AsyncVLA：エッジ上での高速・堅牢なナビゲーションのための非同期VLAVLA2026/2/1
大規模基盤モデルを遠隔ワークステーションで動かし、軽量なオンボードアダプタが高頻度で動作を補正する非同期制御フレームワークを提案し、最大6秒の通信遅延下でも高いナビゲーション成功率を実現した。
- 随伴マッチングによるQ学習強化学習2026/1/1
拡散・フローマッチング方策をQ関数で効率的に最適化するため、随伴マッチングを活用したTDベース強化学習手法QAMを提案し、疎な報酬タスクで従来法を上回る性能を示した。
- RoboReward: ロボティクス向け汎用視覚言語報酬モデルVLA2026/1/1
実ロボットの大規模データセットから報酬モデル用データセットとベンチマークを構築し、4B/8Bの視覚言語報酬モデルを訓練。短期的なロボットタスクで大規模VLMを上回る性能を達成し、実機強化学習に適用した。
- PolaRiS: 汎用ロボットポリシーのためのスケーラブルな実世界→シミュレーション評価sim2real2025/12/1
実世界の短い動画スキャンからニューラル再構成で高忠実度なシミュレーション環境を構築し、汎用ロボットポリシーを実世界と強く相関する形で評価できるようにしたフレームワーク。
- 学習時アクション条件付けによる効率的なリアルタイムチャンキングVLA2025/12/1
推論時のインペインティングの代わりに、学習時に推論遅延を模擬してアクションプレフィックスで条件付けることで、VLAのリアルタイムチャンキングを計算コストを抑えつつ実現する手法を提案。
- 分離型Qチャンキング：批評家と方策のチャンク長を分離した強化学習強化学習2025/12/1
批評家のチャンク長と方策のチャンク長を分離し、短い行動チャンクで方策を最適化することで、長期的な目標条件付きタスクにおけるオフライン強化学習の性能を向上させる手法を提案した。
- 事後行動クローニング：効率的なRLファインチューニングのためのBC方策の事前学習模倣学習/RLファインチューニング2025/12/1
模倣学習で事前学習した方策がRLファインチューニングの初期値として不十分な場合があることを理論的に示し、デモンストレータ行動の事後分布をモデル化するPostBCを提案して効率的なファインチューニングを可能にした。
- 視覚-言語-行動モデルにおける人間からロボットへの転移の創発VLA2025/12/1
多様なロボットデータで事前学習したVLAモデルに人間の動画を共訓練すると、人間からロボットへのスキル転移が自然に生じることを示し、その要因が身体非依存の表現獲得にあると分析した。
- パラメータマージによる視覚-言語-行動ロボット方策の頑健なファインチューニングVLA2025/12/1
ファインチューニング時に事前学習済みモデルと重みを補間することで、汎用能力を保ちつつ新しいタスクを頑健に学習する手法を提案した。
- π*0.6：経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- スケーラブルな目標条件付き強化学習のためのマルチステップ準距離学習目標条件付き強化学習2025/11/1
マルチステップモンテカルロリターンを用いて準距離を学習するオフライン目標条件付き強化学習手法を提案し、長期的な視覚タスクや実世界のロボット操作で有効性を示した。
- 推論時経験からアフォーダンスを学ぶ視覚-言語-行動モデルVLA2025/10/1
VLAモデルの低レベル方策を高レベルVLMと接続し、実行時の失敗経験を文脈に取り込んで反省・再計画することで、長期的タスクを遂行できるようにする手法LITENを提案。
- OmniVLA：ロボットナビゲーションのためのオムニモーダル視覚言語行動モデルVLA2025/9/1
2D姿勢・自己中心画像・自然言語などの複数のゴール指定をランダムに融合して学習し、未知環境への汎化や新しい言語指示への追従を可能にしたナビゲーション用VLAモデルを提案。
- CAST: 反事実ラベルによる視覚言語行動モデルの指示追従性向上VLA2025/8/1
視覚言語モデルを用いて既存のロボットデータセットに反事実ラベルを付与し、言語指示への追従性能を向上させる手法を提案。
- 行動的探索：インコンテキスト適応による探索の学習VLA2025/7/1
専門家のデモデータを用いて、過去の観測と探索度合いを条件に行動を予測する長文脈生成モデルを訓練し、オンラインでの高速適応と効率的な探索を実現する手法を提案。
- アクションチャンキングを用いた強化学習強化学習2025/7/1
将来の行動列をまとめて予測するアクションチャンキングをTDベースの強化学習に導入し、長期的で報酬が疎なタスクにおける探索とサンプル効率を改善するQ-chunkingを提案した。
- 拡散ポリシーを潜在空間強化学習で操縦するVLA2025/6/1
拡散ポリシーの潜在ノイズ空間に強化学習を適用し、実世界で効率的に自律適応させる手法DSRLを提案。
- RoboArena：汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- アクションチャンキング方策のリアルタイム実行VLA2025/6/1
拡散・フロー系VLAの推論遅延に対応するため、次チャンクを生成しつつ現在のチャンクを非同期実行するRTCを提案し、動的タスクでの有効性を示した。
- 知識を保護する視覚-言語-行動モデル：高速学習・高速推論・より良い汎化VLA2025/5/1
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
- 効率的な身体性推論のための学習戦略VLA2025/5/1
ロボットのChain-of-Thought推論がなぜ有効かを分析し、軽量で高速な代替推論手法を提案した論文。
- モデルベース再アノテーションによるどこでも走行学習ナビゲーション2025/5/1
クラウドソースの遠隔操作データや未ラベルのYouTube動画を、学習したモデルベース専門家で再ラベル付けし、長距離ナビゲーション方策LogoNavを訓練して未知環境でのロバストな走行を実現した。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- AutoEval: 実世界における汎用ロボットマニピュレーションポリシーの自律評価マニピュレーション2025/3/1
ロボットポリシーの実世界評価を人手なしで24時間自律的に行うシステムAutoEvalを提案し、自動成功判定とシーンリセットにより人手による評価と近い結果が得られることを示した。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- 時間表現アラインメント：後継特徴がロボット指示追従における創発的な構成性を可能にするVLA2025/2/1
現在と将来の状態表現を時間的に整合させる損失で学習することで、明示的なサブタスク計画や強化学習なしに、基本タスクの組み合わせからなる複合タスクをこなせる構成性がロボット操作タスクで向上することを示した論文。
- 反射的計画：多段階長期的ロボットマニピュレーションのための視覚言語モデルマニピュレーション2025/2/1
視覚言語モデルに「反射」機構を組み込み、未来の世界状態を想像しながら推論を反復的に改善することで、多段階の長期ロボットマニピュレーション計画を可能にした。
- 視覚を超えて：言語グラウンディングによる異種センサーでの汎用ロボット方策のファインチューニングVLA2025/1/1
自然言語を共通のクロスモーダル基盤として用い、視覚・触覚・音声などの異種センサー入力を扱えるよう汎用ロボット方策をファインチューニングする手法FuSeを提案。実世界実験で成功率を20%以上向上させた。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- PAE: 基盤モデルエージェントのための自律的スキル発見フレームワークVLA2024/12/17
基盤モデルエージェントが環境の文脈情報からタスクを自律的に提案し、VLMによる成功評価を報酬として強化学習でスキルを獲得する学習システムPAEを提案した。
- RLDG: 強化学習によるロボット汎用方策の蒸留マニピュレーション2024/12/1
強化学習で生成した高品質なデータを用いて汎用ロボット方策を微調整する手法を提案し、人間のデモより最大40%高い成功率を達成した。
- GHIL-Glue: フィルタリングされたサブゴール画像による階層制御VLA2024/10/1
生成モデルが作るサブゴール画像をフィルタリングし、下位方策と効果的に繋ぐことで、言語条件付きロボット操作の汎化性能を向上させた研究。
- 実世界の視覚データから学習する走破性認識型脚式ナビゲーション歩行2024/10/1
脚式ロボットの制御器の価値関数に基づいて走破性コストをロボット中心に推定し、RGBDナビゲーション計画に統合して実世界で効率的に強化学習する手法を提案した。
- ロボット拡散トランスフォーマーの構成要素VLA2024/10/1
拡散モデルとトランスフォーマーを組み合わせたロボット政策の設計指針を検討し、長期的な器用タスクで高性能を発揮する新アーキテクチャを提案した。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- 汎用ロボット基盤モデルを価値誘導で操る：V-GPSVLA2024/10/1
オフライン強化学習で学習した価値関数を用いて汎用ロボット方策の行動を再ランク付けし、微調整なしで性能を向上させる手法を提案。
- 人間参加型強化学習による精密で器用なロボットマニピュレーションマニピュレーション2024/10/1
人間のデモと修正を組み込んだ視覚ベース強化学習システムを提案し、動的操り・精密組立・両腕協調などの多様なタスクを1〜2.5時間の訓練でほぼ完璧な成功率かつ高速に学習できることを示した。
- LeLaN: 実世界動画から言語条件付きナビゲーション方策を学習ナビゲーション2024/10/1
大規模視覚言語モデルとロボット基盤モデルを活用し、ラベルなし・行動なしの一人称視点動画から言語で指示された物体ナビゲーション方策を学習する手法を提案。1000回以上の実世界実験で既存手法を上回り、エッジ計算で4倍高速に推論可能。
- KALIE: ロボットデータなしで視覚言語モデルを微調整するオープンワールドマニピュレーションマニピュレーション2024/9/1
人間がラベル付けした2D画像のみで視覚言語モデルを微調整し、自然言語指示と視覚からキーポイントアフォーダンスを予測してロボットを制御する手法を提案。50例のデータで未知物体の新規タスクを頑健に遂行できる。
- 言語最適化による方策適応：少数ショット模倣のためのタスク分解模倣学習2024/8/1
視覚言語モデルによるタスク分解を活用し、少数の実演から未知の長期的ロボット操作タスクに適応する手法PALOを提案した。
- D5RL: データ駆動型深層強化学習のための多様なデータセットオフライン強化学習2024/8/1
実世界のロボット操作・移動環境を模したシミュレーションで、スクリプト・人間操作・その他多様なデータ源を含むオフライン強化学習の新ベンチマークを提案。
- 異なる身体を超えて学ぶ：操作・ナビゲーション・歩行・飛行を1つのポリシーでVLA2024/8/1
20種類のロボットの90万軌道をTransformerで学習し、単一のポリシーでマニピュレーションから歩行・飛行まで制御できるCrossFormerを提案した。
- HiLMa-Res: 残差強化学習による四脚ロボットの移動と操作を統合する汎用階層フレームワーク移動操作2024/7/1
四脚ロボットが歩行しながら脚で操作を行うための階層型強化学習フレームワークを提案し、実機で複数の移動操作タスクにおいて既存手法より優れた性能を示した。
- 視覚言語モデルの常識推論による脚式ロボットの適応脚式ロボット2024/7/1
視覚言語モデル(VLM)の常識推論を活用し、過去の相互作用と将来の計画を考慮して脚式ロボットが未知の障害物に対処するシステムVLM-PCを提案。
- Mobility VLA：長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- 基盤モデルによる指示追従スキルの自律的改善VLA2024/7/1
視覚言語モデルを活用してロボットが自律的に多様なデータを収集・評価し、人間の注釈なしで指示追従ポリシーを改善する手法を提案。未知環境での性能を2倍に向上させた。
- 身体性を伴う連鎖的思考推論によるロボット制御VLA2024/7/1
視覚言語行動モデルに、計画・サブタスク・動作・物体位置などの推論を段階的に行わせてから行動を予測するECoTを導入し、大規模データセット向けの合成訓練データ生成パイプラインを構築して成功率を向上させた。
- OpenVLA: オープンソースの視覚-言語-行動モデルVLA2024/6/1
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
- 言語ガイド付きスキル発見スキル発見2024/6/1
大規模言語モデルの意味知識を活用し、ユーザープロンプトに基づいて意味的に多様なスキルを発見するフレームワークを提案。脚ロボットやマニピュレーションで有効性を示した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- RACER: 認識的不確実性に基づくリスク感受型強化学習による高速走行と衝突低減強化学習/自動運転2024/5/1
リスク感受型制御と適応的行動空間カリキュラムを組み合わせ、認識的不確実性推定により分布外状態を自動回避する強化学習フレームワークを提案し、実車のラリーカーで高速オフロード走行を実現した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- 視触覚データを用いた双腕多指ハンドによる技能学習マニピュレーション2024/4/1
低コストな双腕多指ハンドの遠隔操作システムHATOを開発し、触覚センサ付き義手を転用して視触覚データを収集、長期的で高精度なタスクを学習させた。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- SELFI: 強化学習による社会ナビゲーションのための自律的自己改善社会ナビゲーション2024/3/1
オフラインのモデルベース学習で事前学習した方策を、オンラインのモデルフリー強化学習で微調整する手法を提案し、実環境での衝突回避と社会的配慮行動を改善した。
- ロボットに怒鳴って教える：言語訂正によるオンザフライ改善VLA2024/3/1
人間がロボットに言語で訂正を与えることで、高レベル方策がリアルタイムに適応し、反復学習を通じて長期的タスクの成功率を向上させるフレームワークを提案。
- MOKA: マークベース視覚プロンプティングによるオープンワールドロボットマニピュレーションマニピュレーション2024/3/1
視覚言語モデルに画像上のマークを手がかりに質問応答させ、自由文指示からアフォーダンスを予測してロボットの卓上マニピュレーションを実現する手法を提案。
- ヒルベルト表現による基盤ポリシーVLA2024/2/1
ラベルなしオフラインデータから、時間構造を保つ潜在表現を学習し、その空間を方向性のある移動で覆うことで、多様な長期行動を獲得し任意の新規タスクにゼロショット適応できる汎用ポリシーを事前学習する手法を提案。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 異なる身体を持つロボット間の学習限界を探る：操作とナビゲーションVLA2024/2/1
ナビゲーションと操作という異なるタスクのデータを同一の目標条件付きポリシーで共同学習させ、多様な機体間での転移や未知の機体へのゼロショット制御が可能かを検証した。
- 多様で動的かつ堅牢な二足歩行制御のための強化学習歩行2024/1/1
深層強化学習により、歩行・走行・跳躍・立位など多様な二足歩行スキルを実現する汎用制御器を開発し、実機Cassieで高い適応性と堅牢性を示した。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- FMB: 汎化可能なロボット学習のための機能的マニピュレーションベンチマークマニピュレーション2024/1/1
3Dプリント可能な物体を用いて、把持・再配置・組立などの基本スキルとその組み合わせを評価する実世界ロボット学習ベンチマークを提案し、模倣学習フレームワークも提供する。
- SERL: サンプル効率の高いロボット強化学習のためのソフトウェアスイート強化学習2024/1/1
実世界でのロボット強化学習を効率的に行うためのライブラリを開発し、PCB組み立てやケーブル配線などのタスクで25〜50分の訓練で高い成功率を達成した。
- コードの連鎖：言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- その場で適応：単一ライフでのロボット展開のための行動変調sim2real2023/11/1
事前学習した多様な行動の中から状況に応じて価値評価に基づき選択・適応し、テスト時の1エピソード内で人間の監督なしに動的に適応する手法ROAMを提案。実機四足歩行ロボットGo1でローラースケート装着時にも前進可能。
- RLIF: 対話型模倣学習を強化学習として再解釈する模倣学習/強化学習2023/11/1
対話型模倣学習における専門家の介入信号を報酬として用いることで、専門家が最適でなくてもそれを超える行動を学習できる強化学習手法を提案し、理論解析と高次元連続制御タスクでの評価を行った。
- METRA: 距離認識抽象化によるスケーラブルな教師なし強化学習教師なし強化学習2023/10/1
状態空間全体を直接カバーする代わりに、時間距離で結ばれたコンパクトな潜在空間を移動する多様な行動を学習し、高次元環境でもスケールする教師なし強化学習手法を提案。
- 大規模言語モデルを活用したナビゲーション：計画のためのヒューリスティックとしての意味的推測ナビゲーション2023/10/1
言語モデルが持つ意味的知識を探索ヒューリスティックとして利用し、未知環境でのロボットナビゲーションを効率化する手法を提案。
- NoMaD: 目標マスク付き拡散ポリシーによるナビゲーションと探索ナビゲーション2023/10/1
単一の拡散ポリシーで目標指向ナビゲーションと目標非依存探索を統合し、未知環境での移動ロボットの性能と衝突率を改善した。
- オンライン強化学習のためのオフライン再学習：探索バイアスを緩和する分離型方策学習強化学習2023/10/1
オンライン強化学習で探索用の方策と評価用の方策を分離し、全対話データから悲観的に方策を再学習することで探索バイアスを抑え性能を向上させる手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 画像編集拡散モデルによるゼロショットロボットマニピュレーションマニピュレーション2023/10/1
画像編集拡散モデルを高レベルプランナーとして使い、言語指示から中間サブゴール画像を生成し、低レベル方策がそれを達成することで、未知の物体や状況にも汎化するロボット操作手法を提案。
- 限界を育てる：実世界強化学習によるロボット歩行の継続的改善歩行2023/10/1
実世界での強化学習において、訓練中の探索を調整するポリシー正則化フレームワークAPRLを提案し、四足歩行ロボットが数分で歩行を学習し、その後も性能が飽和せず改善し続けることを示した。
- Q-Transformer：自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- オフライン強化学習による適応型ヒューマンマシンインターフェースのブートストラップヒューマン・イン・ザ・ループ強化学習2023/9/1
ノイズの多い高次元コマンド信号をアクションにマッピングするインターフェースを、オフライン事前学習とオンライン微調整を組み合わせた強化学習で訓練し、ユーザーの長期意図を推論することで、視線によるナビゲーション支援を改善した。
- REBOOT: 実世界の巧みな操作を効率的にブートストラップするためのデータ再利用マニピュレーション2023/9/1
サンプル効率の良い強化学習とリプレイバッファのブートストラップを組み合わせ、過去のタスクのデータを再利用して実世界の多指ハンド操作スキルを効率的に学習するシステムを提案。
- インターネット動画からの価値関数事前学習によるロボットオフライン強化学習オフライン強化学習2023/9/1
人間の動画データセット上で時間差分学習により価値関数を事前学習し、ロボットのオフライン強化学習に活用する手法V-PTRを提案。実機WidowXでのマニピュレーションタスクで従来手法を大きく上回る性能を示した。
- BridgeData V2: 大規模ロボット学習のためのデータセット模倣学習2023/8/1
低コストロボットで24環境・6万軌道を収集した大規模多様データセットを公開し、模倣学習やオフライン強化学習の性能がデータ量とスキル多様性で向上することを示した。
- 階層的模倣学習による多段階ケーブル配線マニピュレーション2023/7/1
ケーブルを複数のクリップに通す多段階操作を、下位の運動制御と上位のタスク順序決定を模倣学習で階層的に学習し、失敗からの回復も可能にした研究。
- 対照的な例ベース制御オフライン強化学習2023/7/1
高リターン状態の例から報酬関数を学習する代わりに、マルチステップ遷移の暗黙モデルを学習し、例ベース制御のQ値を表現するオフライン手法を提案。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 言語指示に従うロボットのための目標表現：半教師あり言語インターフェースによる制御VLA2023/7/1
少量の言語ラベル付きデータと大量の未ラベルデータを活用し、言語指示を開始画像と目標画像の変化に埋め込むことで、実世界の多様なマニピュレーションタスクで指示に従う方策を学習した。
- HIQL: 潜在状態を行動として用いるオフライン目標条件付き強化学習オフライン強化学習2023/7/1
オフラインの目標条件付き強化学習において、状態を行動として扱う高レベル方策とサブゴール到達の低レベル方策に階層分解することで、長距離タスクを安定して解く手法を提案した。
- ViNT: 視覚ナビゲーションのための基盤モデルナビゲーション2023/6/1
多様なロボットナビゲーションデータセットで訓練されたTransformerベースの基盤モデルViNTを提案し、未知環境でのキロメートル規模のナビゲーションや新タスクへの適応を可能にした。
- SACSoN: 社会的ナビゲーションのためのスケーラブルな自律制御社会的ナビゲーション2023/6/1
ロボットが人間の自然な行動を妨げないようにする「反事実的摂動」を最小化する方策を学習し、大規模な屋内ナビゲーションデータセットを構築して社会的ナビゲーションを実現した。
- 大規模深層強化学習：オフィスビルでの移動マニピュレータ群による廃棄物仕分けマニピュレーション2023/5/1
実世界データとシミュレーションを組み合わせた深層強化学習により、23台の移動マニピュレータがオフィスビルでリサイクル品とゴミを仕分けるシステムを構築し、大規模に評価した。
- 経験転移による俊敏な移動スキルの学習と適応歩行2023/4/1
既存の制御器から経験を転移して強化学習を加速し、脚ロボットの俊敏な跳躍や二足歩行移動、環境適応を実現した。
- 低コストハードウェアによる繊細な両手マニピュレーションの学習マニピュレーション2023/4/1
低コストな両腕ロボットと遠隔操作インターフェースを用い、実演からの模倣学習でバッテリー挿入などの繊細な両手作業を80〜90%の成功率で実現した。
- FastRLAP: 深層強化学習と自律練習による高速走行学習システム強化学習/ナビゲーション2023/4/1
小型RCカーが実世界で自律的に強化学習を行い、20分未満の訓練で攻撃的な走行スキルを獲得するシステムを提案。
- グラウンデッドデコーディング：身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- ニューラル制約充足：物体再配置における組合せ的一般化のための階層的抽象化マニピュレーション2023/3/1
ピクセルから物体表現を推論し、そのクラスタ上に因子化遷移グラフを構築することで、物体の数や配置が異なる再配置タスクへ組合せ的に一般化する制御手法を提案した論文。
- 強化学習による堅牢で多様な二足歩行ロボットのジャンプ制御歩行2023/2/1
強化学習を用いて二足歩行ロボットCassieに多様な動的ジャンプを実現させ、実世界での外乱や着地失敗からの復帰も可能にした。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 視覚ナビゲーションのためのオフライン強化学習ナビゲーション2022/12/1
既存のロボットナビゲーションデータセットを活用し、実世界でユーザー指定の報酬関数を最適化する初のオフラインRLシステムReViNDを提案。追加データ収集なしで遠方の目標へナビゲートできることを示した。
- 経験から学ぶロボットナビゲーション：原理・手法・最近の成果ナビゲーション2022/12/1
幾何学的な地図と計画に頼らず、実世界の経験からナビゲーションを学習する手法を統一的に整理し、設計原理と実験結果、今後の課題を論じた記事。
- 画像からの巧みな操作：サブステップ誘導による実世界自律強化学習マニピュレーション2022/12/1
ユーザーが画像で中間サブタスクを指定するだけで、多指ハンドロボットが実世界で複雑な操作タスクを自律的に強化学習できるシステムを提案した。
- 模倣だけでは不十分：強化学習による難運転シナリオへのロバスト化自動運転2022/12/1
10万マイル超の実走行データで模倣学習した運転方策に、単純な報酬の強化学習を組み合わせることで、衝突リスクの高い難シナリオでの失敗を38%以上削減した。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- GNM: あらゆるロボットを動かす汎用ナビゲーションモデルナビゲーション2022/10/1
6種類のロボットから集めた60時間の走行データを統合し、時間的文脈と標準化された行動空間を用いて、異なる機体や環境に広く汎化する目標条件付き視覚ナビゲーションモデルを学習した。
- 損失のあるアフォーダンスによる汎化：広範なオフラインデータを活用した視覚運動タスクの学習VLA2022/10/1
広範なオフラインデータから損失のある表現空間でサブゴールを計画し、オンライン微調整で未知の視覚運動タスクを効率的に学習するフレームワークを提案。
- 実践で学ぶ：新規コネクタの産業用挿入に向けた視覚ベースの自己報酬型オフライン・オンライン微調整マニピュレーション2022/10/1
報酬関数は方策より新規タスクに汎化しやすい点を活かし、自己報酬でオンライン練習しながら未見コネクタの挿入タスクを微調整する手法を提案。
- ExAug: 幾何学的経験拡張によるロボット条件付きナビゲーションポリシーナビゲーション2022/10/1
異なるロボットのデータセットを点群ベースの幾何学的拡張で統合し、新しい機体でも汎用化できるナビゲーションポリシーを学習するフレームワークを提案。
- ロボットのための事前学習：オフラインRLで少数試行から新タスクを学習オフラインRL2022/10/1
多様なロボットデータセットで事前学習したオフラインRL（CQL）を、10件程度の実演で新タスクに迅速に微調整するPTRを提案し、実機WidowXで有効性を示した。
- 単一目的で表現・潜在空間モデル・方策を学習するモデルベース強化学習の簡素化モデルベースRL2022/9/1
潜在空間モデルと方策を単一の目的関数で自己整合的に学習し、モデルベースRLのサンプル効率を向上させる手法を提案した。
- GenLoco: 四足歩行ロボットのための汎用移動コントローラ歩行2022/9/1
多様な形態の四足歩行ロボットに展開できる汎用移動コントローラを、形態ランダム化を用いたシミュレーション訓練により実現した研究。
- 四足歩行ロボットによる高精度サッカーシュートのための階層型強化学習強化学習/四足歩行/マニピュレーション2022/8/1
四足歩行ロボットが実世界で正確にサッカーボールを目標地点へ蹴るため、運動制御と計画を階層的に強化学習するフレームワークを提案し、A1ロボットで実証した。
- 公園を散歩：モデルフリー強化学習で20分で歩行を学習歩行2022/8/1
モデルフリー強化学習と調整済みコントローラを組み合わせ、実世界で四足歩行をわずか20分で学習できることを示した研究。
- LM-Nav: 大規模事前学習モデルによる言語・視覚・行動を統合したロボットナビゲーションナビゲーション2022/7/1
言語・視覚・行動の大規模事前学習モデル（GPT-3、CLIP、ViNG）を組み合わせ、言語指示による実世界の長距離ナビゲーションを追加学習なしで実現した。
- 内なる独白：言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- ゼロから始めない：事前データを活用したロボット強化学習の自動化強化学習2022/7/1
多様なオフラインデータを活用し、新タスクへの適応と環境リセットを自律的に行うロボット強化学習手法を提案。サンプル効率と汎化性能を向上させる。
- 初めての接触：相互情報量最大化による教師なし人間-機械協調適応ヒューマン・マシン・インターフェース2022/5/1
ユーザーのコマンド信号と環境の状態遷移の間の相互情報量を最大化することで、事前のマッピングや教師信号なしに人間と機械のインターフェースを協調的に適応させる教師なし手法を提案。
- 計画から実践へ：潜在空間での目標合成による効率的なオンライン微調整強化学習2022/5/1
高レベルプランナーが潜在空間で中間目標を生成し、オフラインRLで事前学習した方策をオンライン探索で微調整することで、長期的なタスクを効率的に学習する手法を提案。
- 制御を意識した予測目的関数による自動運転自動運転2022/4/1
予測モジュールの学習目的を下流の制御性能に結びつける重み付け手法CAPOを提案し、CARLAの郊外走行で有効性を示した論文。
- 言う通りでなく、できる通りに：ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- 視覚モデルベース強化学習におけるエンパワーメントによる情報の優先順位付けモデルベースRL2022/4/1
変分エンパワーメント項を相互情報量ベースの状態空間モデルに組み込み、行動と相関する機能的に重要な情報を優先して表現学習するモデルベースRL手法を提案し、視覚ロボット制御タスクで高いサンプル効率と性能を示した。
- デモンストレーションで初期化したマルチタスク強化学習による自律練習マニピュレーション2022/3/1
事前データでマルチタスク強化学習をブートストラップし、リセットを最小限に抑えつつロボットが自律的に練習して長期的なタスクを解けるようにした研究。
- BC-Z: ロボット模倣学習によるゼロショットタスク汎化模倣学習2022/2/1
言語や動画で条件付けできる模倣学習システムを構築し、100以上のタスクで学習して未見の24タスクを実演なしで平均44%の成功率で遂行できることを示した。
- ViKiNG: 地理的ヒントを用いた視覚ベースのキロメートル規模ナビゲーションナビゲーション2022/2/1
局所的な走行可能性モデルと地図などの地理的ヒントを活用するヒューリスティックプランナを組み合わせ、未学習環境で最大3km先の目標まで自律移動できる視覚ナビゲーション手法を提案した。
- オフライン強化学習におけるラベルなしデータの活用法オフラインRL2022/2/1
ラベルなしデータに報酬ゼロを付与する単純な手法が、報酬モデル学習なしでも理論・実験的に有効であることを示し、その条件と改善策を明らかにした論文。
- 眼 gaze 入力によるロボット操作を可能にする階層型ヒューマン・イン・ザ・ループ強化学習ヒューマン・イン・ザ・ループ強化学習2022/2/1
事前学習した高レベル行動の潜在空間と、スパースなユーザーフィードバックからの効率的な学習を組み合わせ、ウェブカメラの視線入力でロボットを操作できる支援インターフェースを実現した研究。
- 自律強化学習：形式化とベンチマーク強化学習2021/12/1
試行間のリセットを人間が行わない自律的な強化学習の枠組みを定式化し、多様なタスクを含むシミュレーションベンチマークEARLを提案した論文。既存手法が介入最小化で苦戦することを示す。
- 継続的メタ方策探索メタ強化学習2021/12/1
過去タスクを再訪せずに逐次的にメタ学習するCoMPSを提案し、連続制御タスク列で既存手法を上回る性能を示した。
- 価値関数空間：スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 幾何コストと予測コストを統合したハイブリッド模倣プランニングによるオフロード走行オフロードナビゲーション2021/11/1
学習ベースの走行可能性予測と幾何ベースの障害物コストを自己教師ありで組み合わせ、オフロード環境での計画性能を両者単独より大幅に向上させた。
- AW-Opt：模倣と強化学習を大規模に統合してロボット技能を学習する模倣学習+強化学習2021/11/1
アドバンテージ重み付き回帰とQT-Optを組み合わせ、デモンストレーションと多様な事前データを活用して実世界ロボット技能をスケーラブルに学習する手法AW-Optを提案・検証した論文。
- 産業用挿入タスクのためのオフラインメタ強化学習メタ強化学習2021/10/1
過去タスクの実演と試行データのみからメタ学習し、産業用挿入タスクへ迅速に適応するオフラインメタ強化学習手法を提案した論文。文脈メタ学習とオンライン微調整を組み合わせ、類似タスクには即応・大きく異なるタスクには段階適応する。
- 学び続ける脚式ロボット：実世界での移動ポリシーのファインチューニング歩行2021/10/1
実世界での強化学習により脚式ロボットの移動ポリシーを効率的かつ安全にファインチューニングするシステムを提案し、A1四足歩行ロボットが屋外芝生や屋内の多様な地形で複数の移動スキルを自律的に改善できることを示した。
- もうミスマッチはない：モデルベース強化学習のためのモデルと方策の同時最適化モデルベースRL2021/10/1
モデルの精度と方策性能の目的不一致を解消するため、モデルと方策を単一の目的関数で同時に学習する手法を提案し、連続環境で効率的に推定できる初の大域的下界を導出した。
- Bridge Data：クロスドメインデータセットでロボット技能の汎化を促進模倣学習2021/9/1
10環境71タスク7200デモからなる大規模マルチドメインデータセットを収集し、新規タスク・新規環境での学習に併用すると成功率が約2倍になることを示した。
- マルチタスクオフライン強化学習のための保守的データ共有オフラインRL2021/9/1
複数タスクのオフラインデータを混ぜると分布シフトが悪化する問題に対し、タスク毎の改善度に基づいてデータを振り分ける保守的データ共有(CDS)を提案し、移動・ナビゲーション・視覚マニピュレーションで有効性を示した論文。
- オフラインメタ強化学習におけるオンライン自己教師あり学習の活用メタ強化学習2021/7/1
オフラインデータでメタ学習した方策が適応時に生じる分布シフトを、報酬ラベル不要のオンライン教師なしデータ収集で橋渡しするハイブリッド手法を提案し、ロボットの歩行・操作タスクで有効性を示した。
- サブゴールカリキュラムによる自律強化学習強化学習2021/7/1
毎試行のリセットを不要にし、初期状態のカリキュラムを自動生成してエージェントが容易なタスクから難しいタスクへと学習できるVaPRLを提案した論文。
- MURAL: 成果駆動型強化学習のためのメタ学習による不確実性考慮型報酬強化学習2021/7/1
成功例から報酬を自動学習する際、不確実性を考慮した分類器をメタ学習で構築し、探索と目標誘導を両立させる手法を提案した論文。
- 実世界で完全自律的に学ぶ移動マニピュレーションの強化学習移動マニピュレーション2021/7/1
環境への特別な計測装置や人の介入なしに、実世界のロボットがナビゲーションと把持を組み合わせた部屋の片付けスキルを約40時間の自律学習で獲得する手法ReLMMを提案した。
- 異種ロボットのデータからナビゲーションを学習する階層統合モデルナビゲーション2021/6/1
知覚モデルとダイナミクスモデルを別々に学習し、テスト時に階層的に統合して行動計画を行う強化学習手法HIntを提案。異なるロボットで収集したデータを活用しつつ、展開ロボットの物理能力を尊重した移動ナビゲーションを実現した。
- 潜在空間コロケーションによるモデルベース強化学習モデルベースRL2021/6/1
画像から学習した潜在状態モデルを用い、行動ではなく潜在状態の軌跡をコロケーション法で計画することで、長期的なタスクにおける視覚的モデルベース強化学習を改善した研究。
- 視覚的アフォーダンスを想像して新しいスキルを学ぶアフォーダンス学習2021/6/1
生成モデルで可能な結果を想像し、視覚的アフォーダンスを学習することで、新しい環境でも5分の実体験でロボットが素早くスキルを適応できる手法VALを提案。
- 実行可能モデル：ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- マルチタスク学習によるリセット不要強化学習：人手介入なしで器用な操作行動を獲得マニピュレーション2021/4/1
複数のタスクを組み合わせて互いにリセットの役割を果たさせることで、人間の介入やエピソードリセットなしに器用なマニピュレーション行動を強化学習で獲得する手法を提案した論文。
- 観測からの偶発計画：学習した行動モデルによる実行可能な偶発計画計画2021/4/1
条件付き自己回帰フローモデルで高次元のシーン観測と低次元の行動観測から偶発計画空間を構築し、CARLAのマルチエージェント運転シナリオで非偶発的な深層学習計画手法と比較した研究。
- MT-Opt：大規模継続的マルチタスクロボット強化学習マルチタスク強化学習2021/4/1
複数ロボットで探索・経験・表現を共有しながら多様なタスクを同時に学習する継続的マルチタスク強化学習システムMT-Optを提案し、実機12タスクで有効性を示した。
- 潜在ゴールモデルによる未知環境ナビゲーションの高速探索ナビゲーション2021/4/1
画像ゴールまでの距離と行動を潜在変数モデルで学習し、トポロジカルな画像メモリと組み合わせて、未知の障害物や天候の中でも80m先のゴールを20分以内に探索・到達する移動ロボットシステムを実現した。
- 目標分布で条件付けする汎用強化学習ポリシー強化学習/マニピュレーション2021/4/1
目標を分布として表現し、それに条件付けられた汎用ポリシーをオフポリシーRLで学習するDisCo RLを提案し、新しい目標分布への汎化を要するロボット操作タスクで従来法を大きく上回った。
- 報酬の代わりに成功例でタスクを指定する強化学習強化学習2021/3/1
成功例の遷移から直接価値関数を学習し、報酬関数を介さずに将来の成功確率を最大化する制御アルゴリズムを提案した論文。
- 二足歩行ロボットの堅牢なパラメータ化歩行制御のための強化学習歩行2021/3/1
シミュレーションでドメインランダム化を用いたモデルフリー強化学習により歩行方策を学習し、実機Cassieに転送して速度・高さ・旋回の多様な歩行を従来手法より堅牢に実現した。
- 最大エントロピーRLは一部のロバストRL問題を（証明付きで）解決するロバストRL2021/3/1
最大エントロピー強化学習がロバストRL目的の下界を最大化することを理論的に証明し、動力学や報酬の摂動に対する頑健性を追加の工夫なしに持つことを示した論文。
- 実世界ロボットのための深層強化学習の訓練法：我々が学んだ教訓深層強化学習2021/2/1
実ロボットに深層強化学習を適用した複数のケーススタディを通じ、実環境特有の課題と対処法、未解決の課題を整理したレビュー論文。
- COMBO: 保守的なオフラインモデルベース方策最適化オフライン強化学習2021/2/1
学習したダイナミクスモデルでのロールアウトから得た分布外状態行動ペアで価値関数を正則化し、明示的な不確実性推定なしに保守的なオフライン強化学習を実現した手法。
- SimGAN：敵対的強化学習によるハイブリッドシミュレータ同定とドメイン適応sim2real2021/1/1
ニューラルネットと物理シミュレーションを組み合わせたハイブリッドシミュレータを敵対的強化学習で同定し、手動設計なしにsim-to-realなどのドメイン適応を実現するフレームワークを提案。
- ViNG: 視覚ゴールによるオープンワールドナビゲーションの学習ナビゲーション2020/12/1
ゴール画像を指定して目的地へ移動するナビゲーションシステムViNGを提案し、実機の屋外移動ロボットで従来のゴール条件付き強化学習手法を上回る性能を示した。
- 自己教師あり機能距離を用いたモデルベース視覚計画モデルベース計画2020/12/1
オフラインのラベルなしデータのみから視覚ダイナミクスモデルと動的距離関数を学習し、目標観測を指定するだけで多様なタスクを達成するモデルベース視覚計画手法を提案した。
- 再配置：身体性AIへの挑戦身体性AI2020/11/1
物体を指定された状態に並べ替える「再配置」タスクを身体性AI研究の共通ベンチマークとして提案し、4つのシミュレーション環境と評価指標を示した論文。
- Parrot: 強化学習のためのデータ駆動型行動事前分布強化学習2020/11/1
多様な既存タスクの成功試行から複雑な入出力関係を学習する行動事前分布を事前学習し、新規タスクの迅速な学習を可能にする手法を提案。画像観測と疎報酬のロボットマニピュレーションで大幅に優れる。
- 動画を活用した強化学習：オフライン観察と対話の組み合わせ強化学習2020/11/1
人間の動画とロボットの対話データを組み合わせて方策と価値関数を学習するRLVフレームワークを提案し、ゼロから学ぶRLの半分以下のサンプルで視覚ベースの難しいスキルを獲得できることを示した。
- 過去の経験と新スキルを繋ぐオフライン強化学習オフライン強化学習2020/10/1
過去のタスクや無監督探索で得たデータを動的計画法で再利用し、新タスクのスキルを拡張するオフラインRL手法を提案。4つのロボットスキルを連続で組み合わせる難タスクで有効性を示した。
- 保守的安全クリティックによる安全な探索安全強化学習2020/10/1
クリティックで状態の安全度を保守的に見積もり、訓練中の壊滅的失敗の確率を理論的に上限付きで抑えつつ探索を可能にする安全強化学習手法を提案し、ナビゲーション・マニピュレーション・歩行タスクで有効性を示した。
- 介入から学ぶナビゲーション学習ナビゲーション2020/10/1
人間による安全介入（ディスエンゲージ）を学習信号として活用し、強化学習で屋外歩道を自律走行するナビゲーション手法を提案した論文。
- 画像からのメタ強化学習を潜在状態モデルで実現するMELDメタ強化学習2020/10/1
潜在状態モデルをタスク推論として用い、画像入力からメタ強化学習を行うMELDを提案し、実機WidowXで8時間の訓練により新しい位置へのケーブル挿入を実現した。
- 支援型知覚：状態伝達のための観測最適化ヒューマンロボットインタラクション2020/8/1
ユーザーの観測を加工・合成することで、内部状態推定の誤りを補正し、より正確な状況把握を促す支援型状態推定(ASE)を提案し、4タスクのユーザー研究で有効性を示した論文。
- ダイナミクス差異を補正する強化学習：ドメイン分類器による転移学習sim2real2020/6/1
ソースとターゲットの遷移を識別する補助分類器を学習し、その出力で報酬を修正することで、明示的なダイナミクスモデルなしにドメイン適応を実現する手法を提案した論文。
- RL-CycleGAN：強化学習を考慮したシミュレーションから実世界への転移sim2real2020/6/1
画像変換がQ値を保存するようにRL-scene consistency損失を導入し、タスクを考慮したシミュレーション→実世界の画像変換を可能にするRL-CycleGANを提案した論文。
- 目標条件付き階層予測器による長期視覚計画視覚計画2020/6/1
目標情報を考慮した潜在空間予測器を階層的に組み合わせ、粗から細へと軌道を最適化することで、従来より長い視覚計画タスクを解けるようにした研究。
- 自動運転車は分布シフトを検出・回復・適応できるか？自動運転/分布シフト2020/6/1
不確実性を考慮した計画手法RIPと、専門家に問い合わせる適応版AdaRIPを提案し、分布シフト下での自動運転の頑健性を評価する新ベンチマークCARNOVELを導入した論文。
- AWAC: オフラインデータでオンライン強化学習を加速する強化学習2020/6/1
オフラインデータを活用してオンライン強化学習を効率化するAWACを提案し、サンプル効率の良い動的計画法と最尤方策更新を組み合わせて迅速な微調整を実現した。
- 動物の模倣による俊敏な脚式ロボット移動スキルの学習歩行2020/4/1
実在動物の参照モーションを模倣する模倣学習により、脚式ロボットが多様な俊敏移動行動を自動獲得し、シミュレーションで学習した方策を実機へ素早く適応できることを示した。
- メタ強化学習による産業用ロボット挿入タスクの実世界適応sim2real2020/4/1
シミュレーション上で多様な挿入タスクをメタ強化学習で学習し、実世界では20回未満の試行で方策を適応させて産業用挿入作業を成功させた研究。
- 吊り下げペイロードを運ぶ飛行ロボットのためのモデルベースメタ強化学習飛行制御2020/4/1
吊り下げ荷物の未知の物理特性に飛行中数秒で適応するため、変化したダイナミクスのモデルをメタ学習する手法を提案し、非適応手法より優れた運搬性能を示した。
- オフポリシー強化学習による実世界での多様なロボットスキルの創発教師なし強化学習2020/4/1
報酬なしで多様なスキルを獲得するオフポリシー型の教師なし強化学習手法を提案し、実機の四足ロボットで多様な歩容や向きの移動スキルが自然に創発することを示した。
- 動きながら考える：並行制御による深層強化学習強化学習2020/4/1
行動の実行中に次の行動を決定する並行制御問題に対し、連続時間ベルマン方程式を遅延考慮で離散化する強化学習手法を提案し、ロボット把持タスクで有効性を示した。
- 学習を止めない：ロボット強化学習におけるファインチューニングの有効性マニピュレーション2020/4/1
強化学習で事前学習した視覚ベースのマニピュレーションポリシーを、背景・物体・照明・ロボット形状の変化に対してオフポリシーRLでファインチューニングし、ゼロから学習する0.2%未満のデータで適応できることを示した論文。
- 実世界ロボット強化学習の構成要素マニピュレーション2020/4/1
人手を介さず実世界データだけで継続的に自律学習できるロボット強化学習システムを提案し、三本指ハンドの器用な操作タスクで有効性を示した。
- 点群予測を先に行う新パイプラインSPF2：ラベル不要で未来の物体姿勢を推定点群予測2020/3/1
物体検出・追跡を先に行う従来の姿勢予測を逆転し、まず3D点群の時系列を予測してから検出・追跡する手法SPFNetを提案。ラベル不要でスケールしやすく、ロボット操作や自動運転データで有効性を示した。
- 自律的改善によるスケーラブルなマルチタスク模倣学習模倣学習2020/3/1
マルチタスク設定を活用し、あるタスクでの失敗試行を別タスクの成功例として再利用することで、強化学習なしにロボットが自律的にデータ収集しながら模倣学習を改善できる手法を提案した。
- OmniTact：多方向高解像度触覚センサ触覚2020/3/1
複数のマイクロカメラでゲル状皮膚の多方向変形を捉える、ロボット指先用の高解像度触覚センサを開発し、コネクタ挿入や接触角推定タスクで有効性を示した論文。
- 最小限の人的労力で実世界を歩くことを学ぶ歩行2020/2/1
実機ロボット上で深層強化学習により歩行方策を学習するシステムを開発し、自動データ収集と安全制約付きRLで3種類の地形での歩行獲得を実現した。
- BADGR: 自己教師あり学習による自律ナビゲーションシステムナビゲーション2020/2/1
実環境で収集した自己教師ありデータのみで学習し、幾何学的な障害物に惑わされず走行可能な地形を判断して目的地へ向かう移動ロボットナビゲーションシステムを開発した。
- 逆強化学習で履歴を書き換える：方策改善のための後付け推論マルチタスクRL2020/2/1
後付けの報酬付け替えが逆強化学習と等価であることを示し、それを用いて任意のタスククラスへ目標付け替えを一般化してマルチタスクRLの学習を加速した論文。
- マルチタスク学習のための勾配外科手術マルチタスク学習2020/1/1
マルチタスク学習でタスク間の勾配が干渉する問題を特定し、競合する勾配を射影で取り除く手法を提案して効率と性能を改善した。
- 観察と相互作用から予測モデルを学ぶモデルベース強化学習2019/12/1
ロボットが自身の相互作用データに加え、人間の動画など他者の観察データも活用して予測モデルを学習する手法を提案し、道具使用の計画に応用した。
- 人間動画のピクセル変換で多段階タスクを学習するAVID模倣学習2019/12/1
人間のデモ動画をCycleGANでロボット映像に変換し、モデルベース強化学習の報酬を自動生成。各段階を自律的にリセットしながら多段階タスクを学習する枠組みを提案。
- 形態非依存の視覚的ロボット制御視覚サーボ2019/12/1
ロボットの形状やカメラ位置の事前知識なしに、数秒の探索動作で視覚的な制御点を自己発見し、視覚サーボで制御する手法MAVRICを提案。
- ゴール条件付き方策を用いた計画立案計画立案2019/11/1
強化学習で学習したゴール条件付き方策を計画に組み込み、潜在変数モデルで状態を抽象化することで、画像ベースのロボットナビゲーションやマニピュレーションの多段階タスクを効率的に解く手法を提案した。
- リレーポリシー学習：模倣と強化学習による長期タスクの解決マニピュレーション2019/10/1
模倣学習でゴール条件付き階層ポリシーを生成し、強化学習で微調整することで、キッチン環境の多段階・長期マニピュレーションタスクを解く手法を提案した。
- スケールする自律性：人間オペレータがロボット群を制御できるようにする群制御2019/10/1
ユーザのロボット選択の好みを学習し、多数のロボットの中からテレオペレーションが必要な1台を自動で特定することで、少ない注意力でロボット群を監督できる手法を提案した。
- 状況に応じた想像ゴールによる自己教師ありロボット学習自己教師あり学習2019/10/1
ロボットが現在の環境や手元の物体に合わせて達成可能で多様なゴールを自ら提案し、自己教師ありゴール条件付き強化学習で効率的に技能を学ぶ手法を提案した論文。
- 計画の足し算：マルチタスク制御のための合成計画ベクトル模倣学習2019/10/1
タスクの軌道をサブタスクの和として表す合成計画ベクトル（CPV）を提案し、追加の教師なしで一発模倣学習から学習して、訓練時より2倍多くのスキルを連続実行するタスクへ汎化できることを示した。
- Meta-World：マルチタスク・メタ強化学習のためのベンチマークメタ強化学習2019/10/1
50種類のロボット操作タスクからなるオープンソースのシミュレーションベンチマークを提案し、7つの最先端メタRL・マルチタスクRL手法を評価した。
- RoboNet: 大規模マルチロボット学習のための共有データベースマニピュレーション2019/10/1
7種類のロボットから1500万フレームの動画を集めた共有データベースRoboNetを構築し、視覚ベースのマニピュレーション学習に活用できることを示した。
- 深層ダイナミクスモデルによる器用なマニピュレーションの学習マニピュレーション2019/9/1
深層ダイナミクスモデルとオンライン予測制御を組み合わせ、実世界の24自由度ロボットハンドで4時間の実データのみから複数物体の器用な操作を学習できることを示した論文。
- ROBEL: 低コストロボットによる実世界強化学習のためのベンチマーク強化学習ベンチマーク2019/9/1
実世界での強化学習研究を加速するため、低コストで頑丈な3本指ハンドロボットと4脚ロボット、および各ロボット向けの連続制御ベンチマークタスク群を公開した論文。
- ダイナミクスを考慮したスキルの教師なし発見スキル発見2019/7/1
予測しやすい結果をもたらすスキルを教師なしで発見し、そのダイナミクスを同時に学習するDADSを提案。潜在空間でのゼロショット計画が従来のMBRLや目標条件付きRLを上回ることを示した。
- 力学距離学習による半教師あり・教師なしスキル発見強化学習2019/7/1
ゴールまでの期待時間を表す力学距離を学習し、報酬設計なしで複雑なタスクを効率的に学習する手法を提案。実機9自由度ハンドで画像入力と10個の選好ラベルのみからバルブ回しを習得した。
- 視覚入力と自然な報酬による産業用挿入タスクの深層強化学習マニピュレーション2019/6/1
視覚入力とスパース報酬や目標画像といった自然な報酬設定の下で、強化学習に古典的制御器やデモンストレーションの事前情報を組み合わせることで、産業用挿入タスクを現実的な試行回数で解けることを示した論文。
- オフポリシー分類によるオフポリシー評価オフポリシー評価2019/6/1
連続行動空間と疎な二値報酬のMDPにおいて、Q関数を決定関数とした正例・未ラベル分類問題としてOPEを定式化し、環境モデルも重要度サンプリングも不要な評価指標を提案した論文。
- リプレイバッファ上の探索：計画と強化学習の橋渡し計画/強化学習2019/6/1
強化学習の価値関数を用いてリプレイバッファからグラフを構築し、長期的な目標到達タスクを計画と強化学習の組み合わせで解く手法を提案した論文。
- 状態周辺分布マッチングによる効率的な探索強化学習探索2019/6/1
強化学習の探索を状態周辺分布と目標分布の一致問題として定式化し、状態密度モデルと方策の二人零和ゲームとして最適化する手法を提案した論文。
- デモンストレーションからの安全拡張価値推定（SAVED）：疎なコストのロボットタスクのための安全な深層モデルベース強化学習モデルベース強化学習2019/5/1
タスク完了信号と少数の劣ったデモンストレーションのみを用い、モデルベース強化学習で制約を守りながら効率的に探索するSAVEDを提案し、手術ロボットの結び目タスクなどで高い成功率と制約遵守を実現した。
- 目標条件付きマルチエージェント軌道予測モデルPRECOG軌道予測2019/5/1
自動運転車の目標を与えることで他車両の将来軌道を確率的に予測するモデルを提案し、実データとシミュレーションで従来手法より高精度な多エージェント予測を実現した。
- REPLAB：ロボット学習のための再現可能な低コストアームベンチマークプラットフォームベンチマーク/マニピュレーション2019/5/1
約2000ドルで組み立てられる小型ロボットアーム・カメラ・作業空間のハードウェアスタックを提案し、把持タスクのベンチマーク（タスク定義・評価プロトコル・指標・92k試行データセット）を構築して既存手法のベースラインを評価した。
- マイクロロボットの形態と制御器をデータ効率的に学習する手法形態最適化2019/5/1
階層ベイズ最適化により、ロボットの形態設計と制御器チューニングを自動で交互に最適化し、6脚マイクロロボットのシミュレーションで製造サイクルを大幅削減した研究。
- 連合型メタ方策探索メタ強化学習2019/4/1
各タスクをオフポリシー学習で解き、その解を模倣して単一のメタ学習器に統合することで、メタ強化学習のサンプル効率を大幅に改善する手法を提案した。
- 報酬設計不要のエンドツーエンドロボット強化学習強化学習2019/4/1
成功例の少数サンプルと能動的なラベル問い合わせだけで報酬関数を学習し、カメラ画像入力の実機マニピュレーションを人手の報酬設計なしで獲得する手法を提案。
- 物理理解による即興ツール使用：視覚的先読みを用いた新規物体の活用ツール使用2019/4/1
ロボットが未見の物体をツールとして使い、画像入力のみから複雑な道具使用タスクを遂行するモデルとサンプリング最適化手法を提案した。
- 触覚による物体インスタンス識別：マルチモーダル照合を用いた触覚認識触覚2019/3/1
視覚と触覚の観測が同一物体に対応するかを判定するマルチモーダル照合として物体識別を定式化し、98物体の大規模データで触覚のみでも未知物体を高精度に識別できることを示した。
- 触覚で操る：深層予測モデルによる触覚ベース制御触覚2019/3/1
高解像度触覚センサと深層ニューラルネットのダイナミクスモデルを組み合わせ、生の触覚入力から触覚サーボを教師なしで学習する枠組みを提案し、ボールやサイコロなどを目標触覚状態へ操作できることを示した。
- プレイデータから潜在プランを自己教師あり学習するロボット制御模倣学習2019/3/1
人間の遠隔操作プレイデータを自己教師あり学習で潜在空間に整理し、テスト時に特定の目標へ再利用するPlay-LMPを提案。ラベルなしプレイから学習したモデルは、18の視覚的マニピュレーションタスクで専門家訓練ポリシーを大幅に上回り、摂動に頑健で再試行行動も示す。
- Skew-Fit: 状態被覆を最大化する自己教師あり強化学習自己教師あり強化学習2019/3/1
目標到達ポリシーのための探索目的を定式化し、目標分布のエントロピー最大化により状態被覆を高めるSkew-Fitを提案。実ロボットがピクセル入力のみからドア開けを報酬設計なしで学習できることを示した。
- シミュレーションと実データを統合した深層強化学習による視覚ベース自律飛行の汎化sim2real2019/2/1
シミュレーションの大規模データで汎化可能な知覚を学習し、実世界の1時間のデータで機体ダイナミクスを学習することで、小型ドローンが新しい環境でも衝突回避できる手法を実現した。
- 義肢制御のためのAIチャレンジ：深層強化学習による13の解法強化学習2019/2/1
筋骨格モデルを目標速度ベクトルに追従させる制御器を競うNeurIPS 2018チャレンジの概要と、参加者13チームが用いた深層強化学習ベースの解法を紹介する。
- 深層モデルベース強化学習によるクアッドロータの低レベル制御モデルベース強化学習2019/1/1
小型クアッドロータのホバリング制御を、シミュレーションなしの少量データで学習したモデルベース強化学習で実現した研究。
- ランダム化→正規化適応ネットワークによる実世界データ不要のロボット把持sim2real2018/12/1
ランダム化されたシミュレーション画像を正規化画像へ変換するRCANを学習し、実画像も同様に変換することで実世界データなしに視覚ベース把持エージェントをsim-to-real転移した研究。
- Soft Actor-Critic：最大エントロピー強化学習アルゴリズムとその応用強化学習2018/12/1
最大エントロピーRLに基づくオフポリシー型アクター・クリティック法SACを改良し、温度パラメータの自動調整などを導入してサンプル効率と安定性を向上、四足歩行や巧みな手の操作でも有効性を示した。
- 深層強化学習による実機ロボットの歩行獲得歩行2018/12/1
最大エントロピー強化学習に基づくサンプル効率の高い手法で、シミュレーションやモデルなしに実機Minitaurロボットの安定した歩行を約2時間で獲得した。
- 視覚的先読み：視覚ベースロボット制御のためのモデルベース深層強化学習モデルベース強化学習2018/12/1
カメラ画像から未来を予測するモデルを自己教師ありで学習し、その予測に基づくモデル予測制御で未知の物体を含む多様な操作タスクを実現した研究。
- メタ学習による深層オンライン学習：モデルベース強化学習のための継続的適応モデルベースRL2018/12/1
SGDによるオンライン更新と中国レストランプロセス事前分布を用いたEMアルゴリズムでモデル群を管理し、メタ学習で適応を効果的にする手法MOLeを提案。モデルベース強化学習に適用し、非定常な地形やモータ変化への継続的適応で既存手法を上回ることを示した。
- 視覚記憶によるロバストな経路追従ナビゲーション2018/12/1
経路の実演から抽象表現を生成し、その記憶を用いてノイズや環境変化があっても往復で経路をたどる学習手法を提案した論文。
- 残差強化学習によるロボット制御強化学習/マニピュレーション2018/12/1
従来のフィードバック制御で解ける部分と、接触や摩擦を含む残差部分を強化学習で解き、両者を重ね合わせて実世界のブロック組立タスクを成功させた。
- 物体指向の予測と計画による物理的相互作用の推論物体中心表現学習2018/12/1
物体中心表現を教師なしで学習し、知覚・物理予測・描画を統合したモデルO2P2を提案。学習済み表現を用いて訓練時より複雑なブロックタワーの構築が可能なことを示した。
- 自己対戦によるサンプル効率の良いロボット卓球学習のための階層型ポリシー設計sim2real2018/11/1
人間のデモから力学モデルを学習し、モデルベースの打球スキルと自己対戦による戦略層を組み合わせることで、少ない試行回数でロボット卓球の複雑なポリシーを効率的に学習する手法を提案した。
- Grasp2Vec：自己教師あり把持による物体表現学習自己教師あり学習2018/11/1
ロボットが物体を掴んで取り除く前後の画像差分から物体中心の視覚表現を自己教師ありで学習し、物体の識別・位置推定・指示された物体の把持を可能にした論文。
- 柔軟な推論・計画・制御のための深層模倣モデル模倣学習・計画2018/10/1
模倣学習の確率的予測モデルと目標指向計画を組み合わせ、専門家らしい軌道を目標に向けて計画できる「模倣モデル」を提案し、自動運転タスクで従来手法を大きく上回る性能を示した。
- 再試行によるロバスト化：自己教師あり学習を用いた閉ループロボットマニピュレーションマニピュレーション2018/10/1
生画像入力のみから自己教師あり学習でロボットの操作スキルを獲得する手法を提案し、不完全な予測モデルでも対象物を追跡しながら繰り返し再試行することで把持や物体の再配置などの複雑なタスクを実現した。
- 合成可能な行動条件付き予測器：ロボットナビゲーションのための柔軟なオフポリシー学習ナビゲーション2018/10/1
オフポリシーデータからイベント手がかりを学習し、テスト時にそれらを組み合わせて多様なタスクを達成するフレームワークを提案。シミュレーションと実機のRCカーで自律的にデータ収集・学習し、様々なタスクを実行できることを示した。
- 人間の動画1本から複合視覚運動タスクを学習する階層的模倣学習模倣学習2018/10/1
人間がタスクを行う動画1本と他物体でのサブタスク実演データを用い、プリミティブ動作の学習と多段階タスクへの動的組み合わせを実ロボットで実現した。
- 深層強化学習による器用な多指マニピュレーション：効率的・汎用的・低コストマニピュレーション2018/10/1
シミュレーションを使わず実世界でモデルフリー深層強化学習を直接訓練し、低コスト多指ハンドで接触の多い複雑な操作スキルを4〜7時間で学習できることを示した。少数の人間デモで学習を2〜3時間に短縮できることも実証した。
- 少数例からの目標推論による視覚運動学習と計画少数ショット目標推論2018/10/1
成功終状態の画像を数枚与えるだけでタスク目標を学習する少数ショット目標学習を定式化し、メタ学習した分類器を強化学習や視覚モデルベース計画と組み合わせてロープ操作・視覚ナビゲーション・実機物体配置で有効性を示した。
- 時間反転を自己教師信号に用いたマニピュレーション学習マニピュレーション2018/10/1
目標状態から逆方向に軌道を予測する時間反転モデルを自己教師ありで学習し、実機でのテトリス型ブロック組立をデモなしで実現した。
- 画像入力に強いモデルベース強化学習のための構造化表現学習モデルベースRL2018/8/1
現在の方策データから単純なダイナミクス・コストモデルを推定できる表現を学習し、画像観測下のLQRベースモデルベースRLを実ロボットマニピュレーションで有効化した論文。
- 想像上のゴールを用いた視覚強化学習視覚強化学習2018/7/1
教師なし表現学習とゴール条件付き強化学習を組み合わせ、エージェントが自らゴールを想像して練習することで、生の画像入力から汎用的なスキルを獲得する手法を提案した論文。
- インタラクションによるインスタンスセグメンテーションの学習インスタンスセグメンテーション2018/6/1
ロボットが環境と自己教師ありで相互作用しながら視覚観測を物体ごとに分割するセグメンテーションモデルを学習する手法を提案し、新規物体や背景への汎化と下流の視覚制御タスクでの有用性を示した。
- QT-Opt：視覚ベースロボット操作のためのスケーラブルな深層強化学習マニピュレーション2018/6/1
58万回以上の実世界把持試行を用いて120万パラメータのQ関数を学習し、RGB画像のみで閉ループ把持制御を実現、未知物体で96%の成功率を達成した。
- 不確実性を考慮した力学モデルによる少ない試行での深層強化学習モデルベース強化学習2018/5/1
不確実性を考慮した深層アンサンブル力学モデルと軌道サンプリングを組み合わせたPETSを提案し、モデルフリー強化学習と同等の性能をはるかに少ないサンプル数で達成した。
- 強化学習と制御の確率的推論としての定式化：チュートリアルとレビュー強化学習理論2018/5/1
最大エントロピー強化学習が確率的推論（決定論的なら厳密推論、確率的なら変分推論）と等価であることを導出し、関連アルゴリズムと今後の展望を概説したチュートリアル論文。
- 感覚だけじゃない：視覚と触覚で学ぶ把持と再把持マニピュレーション2018/5/1
視覚と触覚の生データから把持調整の結果を予測し、効率的に把持を繰り返し調整する深層マルチモーダルモデルを提案した論文。
- 確率的敵対的動画予測動画予測2018/4/1
潜在変数モデルと敵対的学習を組み合わせ、将来の動画フレームをよりリアルかつ多様に予測する手法を提案した論文。
- 汎用プランニングネットワークプランニング2018/4/1
微分可能なプランニングをゴール指向方策に組み込み、潜在空間での勾配降下による軌道最適化を模倣学習で端到端に学習する手法を提案。画像ゴール指定や強化学習の距離報酬、異なる形態のロボット間の転移に有効であることを示した。
- マイクロロボットのための柔軟で再利用可能な歩行プリミティブの学習歩行2018/3/1
歩行を文脈付き方策探索としてデータを収集し、多目的歩行プリミティブを学習して計画に利用する手法を提案。動力学モデルなしで250試行以内に学習し迷路走破を実現した。
- ロボットマニピュレーションのための合成可能な深層強化学習マニピュレーション2018/3/1
ソフトQ学習による最大エントロピー方策を実世界のロボット操作に適用し、学習済み方策を合成して新しい方策を効率的に構築できることを示した論文。
- モデルベース強化学習による実世界でのオンライン適応学習メタ学習/sim2real2018/3/1
メタ学習で力学モデルの事前分布を訓練し、実世界の脚式小型ロボットが脚の欠損や未知の地形、姿勢推定誤差などにオンラインで素早く適応できることを示した論文。
- 視覚ベースロボット把持のための深層強化学習：オフポリシー手法のシミュレーション比較評価マニピュレーション2018/2/1
視覚ベースのロボット把持タスク向けに、未見物体への汎化とオフポリシー学習に焦点を当てたシミュレーションベンチマークを提案し、複数のQ関数推定手法を比較評価した。
- 多様性こそがすべて：報酬関数なしでスキルを学ぶ教師なし強化学習2018/2/1
報酬関数を使わずに情報理論的目的関数を最大化することで、歩行やジャンプなど多様なスキルを教師なしで獲得する手法DIAYNを提案した論文。
- 人間の動画から一発学習：ドメイン適応メタ学習による模倣模倣学習2018/2/1
メタ学習で事前知識を獲得し、人間の1本の動画からロボットが新しい物体の配置・押し・ピック＆プレースを学習できる手法を提案。
- 深層強化学習による共有自律制御共有自律/強化学習2018/2/1
環境モデルやユーザの目標知識を仮定せず、人間参加型強化学習で観測とユーザ入力から行動価値への写像を学習し、ユーザ入力に近い行動を選びつつ劣った行動を除外する共有自律手法を提案。ビデオゲームと実機クアッドロータで有効性を示した。
- 地図とランドマーク表現を統合した視覚ナビゲーション視覚ナビゲーション2017/12/1
地図ベースの経路計画とランドマークベースの頑健な実行を学習により統合し、少数の登録画像だけで未知環境をナビゲートする手法を提案した。
- 再帰制御による視点不変なSim2Realビジュアルサーボsim2real2017/12/1
深層再帰コントローラを強化学習で訓練し、視点変化に頑健なビジュアルサーボを実現。知覚と制御を分離して視覚層のみ適応させることで実機へ転移した。
- 痕跡を残さず：安全で自律的な強化学習のためのリセット学習強化学習2017/11/1
順方向ポリシーとリセットポリシーを同時に学習し、非可逆状態に入る前に自動で安全に中断することで、人手によるリセットを大幅に削減する強化学習手法を提案した論文。
- 分割統治強化学習強化学習2017/11/1
初期状態空間をスライスに分割し、各スライスで方策を学習してから統合することで、初期状態のばらつきが大きいタスクを安定して解く強化学習手法を提案した。
- 画像条件付きダイナミクスモデルによる脚式ミリロボットの制御学習歩行2017/11/1
17分未満のデータからニューラルネットでロボットのダイナミクスを学習し、カメラ画像を条件に地形ごとの歩容をオンライン生成して目的地追従を実現した。
- 確率的変分動画予測動画予測2017/10/1
潜在変数のサンプルごとに異なる未来を予測する確率的変分動画予測手法SV2Pを提案し、実世界動画のマルチフレーム予測で従来法を大きく上回る性能を示した。
- 触覚は把持成功を予測できるか：視覚と触覚のマルチモーダル学習による検証触覚2017/10/1
GelSight触覚センサ付き2本指グリッパで9,000回以上の把持試行を収集し、視覚・触覚を組み合わせた深層学習モデルで把持成功を予測、触覚情報の追加が予測精度を大きく向上させることを示した。
- 時間スキップ接続を用いた自己教師あり視覚計画視覚計画2017/10/1
ロボットが自分の収集データから直接映像予測を行い、遮蔽物があっても物体を追跡できる時間スキップ接続付きモデルで目標達成のための行動を計画する手法を提案した。
- 粒状体マニピュレーションの学習マニピュレーション2017/9/1
ロボットによる粒状体のすくい・放出動作の力学を予測する複数のモデルを比較し、ドメイン特化型CNNが最も高精度で、物理力学を明示的に予測することで方策性能が向上することを示した。
- 汎用計算グラフを用いた自己教師あり深層強化学習によるロボットナビゲーションナビゲーション2017/9/1
モデルフリーとモデルベースの中間を取る汎用計算グラフを提案し、生画像からサンプル効率よくナビゲーションを学習する手法を実現した。実機RCカーで数時間の自己教師あり学習により複雑な屋内環境の走行を達成した。
- メタ学習によるワンショット視覚模倣学習模倣学習2017/9/1
メタ学習を用いて、ロボットが1回の視覚的なデモンストレーションから新しいスキルを学習できる手法を提案した論文。
- モデルベース事前分布を活用したモデルフリー強化学習強化学習2017/9/1
確率的ダイナミクスモデルを学習し、それをモデルフリー最適化の事前分布として組み込むことで、データ効率とコスト効率を両立させる強化学習手法を提案した。
- 深層強化学習とデモンストレーションによる複雑な器用マニピュレーションの学習マニピュレーション2017/9/1
24自由度の多指ハンドで複雑な操作タスクをモデルフリー深層強化学習でゼロから学習し、少数の人間デモンストレーションを併用することでサンプル効率とロバスト性を大幅に改善した。
- シミュレーションとドメイン適応による深層ロボット把持の効率化sim2real2017/9/1
ランダム化したシミュレーション環境とGraspGANと呼ばれるピクセルレベルドメイン適応を組み合わせ、実世界のラベル付きデータを最大50分の1に削減しつつ新規物体の把持を実現した。
- 汎化可能なロボット学習のための物体中心表現の深化マニピュレーション2017/8/1
事前学習済み視覚モデルを物体中心の事前知識として活用し、物体レベルの注意機構で少数のデモから関連物体を特定して操作方策を学習する手法を提案した。
- モデルベース深層強化学習のためのニューラルネットワークダイナミクスとモデルフリーファインチューニングモデルベース強化学習2017/8/1
中規模ニューラルネットのダイナミクスモデルとモデル予測制御を組み合わせ、ランダム行動データのみから効率的に歩行・遊泳などの運動スキルを学習し、さらにモデルフリー学習の初期化に用いることでサンプル効率を3〜5倍向上させた。
- 弱ラベル画像で視覚ベースのロボット技能を汎化するGPLAC模倣学習2017/8/1
行動選択のマルチタスク学習と補助的な二値分類、注意機構付きCNNを組み合わせ、単一環境の相互作用データと多様な弱ラベル画像を併用して未知環境への汎化性能を高めた。
- 低コストロボットのための視覚ベース多タスクマニピュレーション：実演からのエンドツーエンド学習模倣学習2017/7/1
低コストロボットアームの制御器を実演から学習し、把持・配置や非把持操作を含む複数タスクを生画像入力のみで遂行できることを示した研究。重み共有と再構成正則化が汎化と頑健性を高め、多タスク同時学習が全タスクの成功率を向上させる。
- 意味的把握のエンドツーエンド学習マニピュレーション2017/7/1
単眼画像からユーザー指定クラスの物体を把持するため、物体検出・分類・把持計画を二流仮説に基づきエンドツーエンドで学習するフレームワークを提案した論文。
- 観察からの模倣：文脈変換による生動画からの行動学習模倣学習2017/7/1
人間の動画をそのまま観察し、視点や環境の違いを文脈変換で補正しながら動画予測と強化学習でロボットの行動を学習する手法を提案した。
- 補間方策勾配：深層強化学習のためのオンポリシーとオフポリシーの勾配推定の融合強化学習2017/6/1
オンポリシーとオフポリシーの更新を理論的・実験的に融合する手法を提案し、制御変数法で既存手法を統一する枠組みを示した。
- 時間対照学習：動画からの自己教師あり学習自己教師あり学習2017/4/1
複数視点のラベルなし動画から、視点不変で時間的に変化する特徴を時間対照損失で学習し、ロボットの人間動作模倣や報酬関数として活用できることを示した論文。
- 自己教師あり学習と模倣を組み合わせた視覚ベースのロープ操作変形物体操作2017/3/1
人間がロープを操作する画像列を入力に、自己教師あり学習で得たピクセル単位の逆動力学モデルと模倣による高レベル計画を組み合わせ、ロープを目標形状へ操作する手法を提案。
- 不変特徴空間の学習による強化学習スキル転送強化学習2017/3/1
形態の異なるエージェント間で強化学習の知識を転送するため、両者が学習したスキルから不変特徴空間を獲得し、他のスキル転送に活用する手法を提案した。
- モデルベースとモデルフリーの更新を統合した軌道中心型強化学習強化学習2017/3/1
LQRベースのモデルベース手法とPI2のモデルフリー枠組みを組み合わせ、深層政策の学習にも拡張して、マニピュレーションタスクを高いサンプル効率で解く手法を提案した。
- 深層特徴とFitted Q-Iterationによるビジュアルサーボの学習ビジュアルサーボ/強化学習2017/3/1
物体分類モデルの深層特徴と双線形予測モデルを組み合わせ、Fitted Q-Iterationでカメラ動作を学習するビジュアルサーボ手法を提案。20軌道程度の少量データで新規ターゲットへ適応できることを示した。
- 衝突回避のための不確実性を考慮した強化学習強化学習/衝突回避2017/2/1
衝突確率とその不確実性を推定するモデルベース強化学習により、未知環境では低速で慎重に、自信のある場所では速度を上げて移動する衝突回避を実現した。
- 視覚ナビゲーションのための認知マッピングと計画視覚ナビゲーション2017/2/1
一人称視点から地図を構築し計画する統合ニューラルネットワークCMPを提案し、実世界建物のシミュレーションと実機ロボットで従来手法を上回る性能を示した。
- 半教師あり強化学習によるスキルの汎化強化学習2016/12/1
報酬が得られる限定環境と報酬なしの多様な環境を組み合わせ、逆強化学習的にタスク目的を推定して行動を汎化する半教師あり強化学習を提案した論文。
- 教師なし知覚報酬による模倣学習模倣学習2016/12/1
少数の実演から深層モデルの視覚特徴を用いて中間ステップの知覚報酬を自動推定し、実世界タスクの強化学習を可能にする手法を提案した。
- 経験と模倣から器用な操作ポリシーを学習するマニピュレーション2016/11/1
五本指ロボットハンドの非把持操作について、軌道最適化と人間のデモンストレーションで局所制御器を構築し、深層学習と最近傍法で初期状態の汎化を比較した研究。
- CAD2RL：実画像なしで実現する単眼画像による実世界飛行sim2real2016/11/1
3D CADモデルのみを用いたシミュレーションで訓練し、実画像を一切使わずに実世界の屋内衝突回避飛行を達成する深層強化学習手法を提案。
- モデルアンサンブルによるロバストなニューラルネットワーク方策の学習sim2real2016/10/1
複数のシミュレーションモデルをアンサンブルし敵対的訓練を行うことで、未知の環境変化にも頑健に汎化する強化学習方策を学習するEPOptを提案した。
- 分散非同期ガイド付き方策探索による集団ロボット強化学習強化学習2016/10/1
複数ロボットが経験を共有して方策を集団学習する分散非同期版ガイド付き方策探索を提案し、4台のロボットによる視覚ベースのドア開けタスクで単機より優れた汎化・稼働率・学習時間を実証した。
- 経路積分ガイド付き方策探索マニピュレーション2016/10/1
経路積分型のモデルフリー局所最適化とオンポリシーサンプリングを組み合わせ、視覚入力から直接トルク制御を行う深層ニューラルネット方策を学習する手法を提案した。
- リセット不要のガイド付き方策探索：確率的初期状態に対応した効率的深層強化学習マニピュレーション2016/10/1
毎エピソードのリセットを必要とせず、ランダムな初期状態でも高次元ニューラルネット方策を効率的に学習できる強化学習手法を提案し、PR2ロボットで実機検証した。
- 非同期オフポリシー更新によるロボットマニピュレーションの深層強化学習マニピュレーション2016/10/1
オフポリシー型深層Q学習を複数ロボットで非同期並列化し、デモや手設計表現なしに実機で複雑な3D操作スキル（ドア開けなど）を効率的に学習できることを示した論文。
- ロボット動作計画のための深層視覚的先読みモデルベース強化学習2016/10/1
行動条件付き動画予測モデルとモデル予測制御を組み合わせ、未ラベルデータのみで実機ロボットが物体押し動作を学習・実行できる手法を開発した。
- テンセグリティロボットの移動のための深層強化学習歩行2016/9/1
鏡像降下誘導方策探索を周期的移動動作に拡張し、テンセグリティロボットSUPERballの転がり歩容を実機・シミュレーションで学習させ、初の連続的で信頼性の高い実機移動を実現した論文。
- マルチタスク・マルチロボット転移のためのモジュール型ニューラルネットワーク方策の学習転移学習2016/9/1
ニューラルネット方策をタスク固有モジュールとロボット固有モジュールに分解し、未学習のロボットとタスクの組み合わせでもゼロショットで汎化できる転移学習手法を提案した。
- 後知恵プランからの学習：エピソード型MPCの改善マニピュレーション2016/9/1
MPCの短い計画ホライズンによる性能低下を、実行後に長いホライズンで生成した後知恵プランに近づくようコスト関数を学習的に再形成することで改善する手法を提案し、実機PR2のペグ挿入など接触の多いマニピュレーションで検証した。
- 近似ミラー降下としての誘導方策探索強化学習2016/7/1
誘導方策探索を近似ミラー降下として解釈し、より単純で収束保証のある新しいアルゴリズムを提案した論文。
- 突いて学ぶ：直感的物理の経験学習マニピュレーション2016/6/1
ロボットが10万回以上の突き動作を実機で行い、画像から順モデルと逆モデルを同時学習することで直感的物理モデルを獲得し、多段階の意思決定に活用できることを示した。
- 行動条件付き動画予測による物理的相互作用の教師なし学習動画予測2016/5/1
ラベルなしで物体の動きを学ぶため、画素の動き分布を予測する行動条件付き動画予測モデルを開発し、ロボットの押し動作5.9万件のデータセットで従来法より高精度な予測を実現した。
- モデルベース加速を伴う連続深層Q学習強化学習2016/3/1
連続制御タスク向けにQ学習を拡張した正規化アドバンテージ関数(NAF)を提案し、さらに学習済み局所線形モデルでモデルフリー強化学習を加速してサンプル効率を大幅に改善した論文。
- 人の実演からソフトロボットハンドの巧みな操作を学習学習 from 実演/ソフトロボティクス2016/3/1
人間が物体を動かす実演を対象中心に記録し、強化学習でソフトハンドが模倣できるよう、実現可能な実演の選択・混合とguided policy searchを拡張した手法を提案した。
- 深層学習と大規模データ収集によるロボット把持のためのハンド・アイ協調の学習マニピュレーション2016/3/1
単眼画像のみから把持成功確率を予測する大規模CNNを訓練し、80万回以上の把持試行データで実時間サーボ制御を実現した研究。
- 誘導コスト学習：方策最適化による深層逆最適制御逆強化学習2016/3/1
示範から非線形なコスト関数をニューラルネットで学習する逆最適制御手法を提案し、高次元ロボットのトルク制御で従来法より高効率・高複雑タスクを実現した。
- MPCガイド付き方策探索による自律飛行体の深層制御方策学習飛行制御2015/9/1
MPCで生成した完全状態の訓練データを用いて、機載センサの生観測のみから行動を出力する深層ニューラルネット方策を学習し、状態推定なしで低計算コストに障害物回避を実現した。
- 視覚運動学習のための深層空間オートエンコーダ視覚運動学習2015/9/1
カメラ画像から深層空間オートエンコーダで物体位置などの特徴点を自動抽出し、局所線形モデルに基づく強化学習でロボットの運動スキルを獲得する手法を提案した。
- オンライン力学適応とニューラルネット事前分布による操作スキルの一発学習マニピュレーション2015/9/1
過去タスクの経験をニューラルネットの力学モデルとして事前学習し、オンラインで局所線形モデルを逐次再適合させてモデル予測制御を行うことで、複雑なロボット操作タスクを1回の試行で学習する手法を提案した。
- パラメータ化物理モデルと楽観的探索を用いたモデルベース強化学習モデルベース強化学習2015/9/1
ロボットの形態情報から特徴量を設計し最小二乗で動力学モデルを学習、楽観的モデル予測制御で効率的に探索するモデルベース強化学習手法を提案し、振り子や7自由度アームで高速な学習を実証した。
- 連続メモリ状態を持つ深層ニューラルネットワーク方策の学習強化学習2015/7/1
方策が読み書きできる連続値メモリ状態を状態・行動空間に追加し、軌道最適化と教師あり学習を組み合わせたguided policy searchで、部分観測下のロボット操作・ナビゲーションタスクを記憶が必要な方策として学習する手法を提案した。
- 一般化アドバンテージ推定による高次元連続制御強化学習2015/6/1
TD(λ)に似た指数重み付きアドバンテージ推定と信頼領域最適化を組み合わせ、生の運動学から関節トルクを直接出力するニューラルネット方策で二足・四足ロボットの走行や起き上がりを学習させた。
- 視覚運動ポリシーのエンドツーエンド深層学習マニピュレーション2015/4/1
画像から直接モータトルクへのポリシーを深層CNNで学習し、知覚と制御をエンドツーエンドで訓練する手法を提案。実世界のマニピュレーションタスクで有効性を示した。
- 誘導方策探索による接触の多いマニピュレーション技能の学習マニピュレーション2015/1/1
時変線形モデルの反復再適合で軌道を学び、単一の汎化可能な制御方策に統合することで、モデルや実演なしに実機で接触の多い操作技能を数分で獲得する手法を提案した。
- 深層・リカレント構造による最適制御の探求歩行2013/11/1
深層・リカレントニューラルネットを連続高次元の歩行制御に適用し、関節角からトルクへの制御則を強化学習で訓練して複数構造を比較した。
