Chelsea Finn
Stanford University
収録論文 177本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- コントローラ横断での文脈的行動適応によるロボット方策の転送sim2real2026/10/29
異なるコントローラ間で行動の意味が異なる問題に対し、指令行動と結果動作の例からトランスフォーマで文脈を符号化し、単一方策がその場で適応できる枠組みを提案した。実機で未見コントローラやゲイン変化への転送性能を向上させた。
- Mulligan: 効率的なオンボット学習のための性能誘導型データ収集模倣学習2026/10/5
ロボットの模倣学習において、失敗しやすい初期状態を優先的に収集するデータ収集法を提案し、実世界タスクで成功率を10-34ポイント改善した。
- リアルタイム視覚-言語-行動ポリシーのための強化学習VLA2026/9/16
大規模VLAモデルの推論遅延による観測のずれを解消するため、遅い行動生成と速い反応的編集を分離し、強化学習でリアルタイム制御を可能にするフレームワークを提案。
- 世界モデルを用いたQ学習強化学習2026/8/17
Q学習に世界モデルを組み合わせ、実データのみで学習しつつ想像上の軌道で探索を行うことで、サンプル効率と性能を向上させる手法を提案した。
- シミュレーションでの視覚的器用さの事前学習器用操作/事前学習2026/8/16
VRヘッドセットを使い、人間がシミュレーション内で物体を操作して収集したデータで、多指ロボットハンドの操作ポリシーを事前学習する手法を提案。実機での微調整により、ゼロから学習するよりも高い性能を達成した。
- SpeedTuning: 軽量強化学習によるポリシー実行の高速化操作/強化学習2026/8/1
模倣学習で得た操作ポリシーの実行速度を、追加データ収集なしで強化学習により最適化し、成功率を保ちつつ2.4倍以上の高速化を実現するフレームワークを提案した。
- LLMを検証器として使う：汎用検証フレームワークLLM検証2026/7/1
LLMの検証能力を新たなスケーリング軸として捉え、追加学習なしでエージェントタスクにきめ細かいフィードバックを与える汎用検証フレームワークを提案した。スコアの粒度拡大や繰り返し評価、基準分解により検証精度を向上させ、複数のベンチマークで最高性能を達成した。
- DIRECT: 身体化プランナーにおけるテスト時計算の割り当てはいつ、どこで行うべきか？VLA/プランニング2026/6/10
VLMを高レベルプランナーとして使う際、テスト時計算を増やすと性能が上がるが、コストも増える。シーン文脈に基づいて計算をルーティングするDIRECTを提案し、成功率とコストのトレードオフを改善した。
- Ego-Pi: 自己中心視点の人間・ロボットデータによるVLAファインチューニングVLA2026/6/6
ロボット操作のデータ不足を解決するため、自己中心視点の人間データを活用してVLAモデルをファインチューニングし、ロボットが新しいタスクの意味を学習し、既存スキルを組み合わせて新行動を生み出せることを示した論文。
- CHORUS: 単一VLAポリシーによる分散型マルチエンボディ協調群制御2026/6/1
事前学習済みの視覚言語行動(VLA)モデルの基盤を活用し、各ロボットが自身の観測のみで分散協調できるフレームワークCHORUSを提案。実世界実験で既存手法より高い性能を示した。
- フロー逆転ステアリングによるロボット汎用ポリシーの性能向上操作2026/6/1
フローマッチングに基づく汎用ロボットポリシーに対し、不完全な行動を逆フローで潜在ノイズに変換し、近傍の高品質な行動モードへ写像する手法を提案。シミュレーションと実機でゼロショット制御や強化学習の改善に効果を示した。
- ロボット操作のための自由形式選好学習マニピュレーション2026/6/1
人間が自然言語で選好軸を定義し、軸ごとにペア比較を行うことで、言語条件付き報酬モデルを学習し、複数の品質次元を最適化するポリシーを訓練する手法を提案。長期的な操作タスクで従来法より大幅に性能向上。
- EXPO-FT: 視覚言語行動モデルのサンプル効率的強化学習ファインチューニングVLA/強化学習ファインチューニング2026/5/1
事前学習済みの視覚言語行動(VLA)モデルを強化学習で安定かつサンプル効率的にファインチューニングするシステムEXPO-FTを提案し、高精度・動的動作を要する複数の操作タスクで完全成功率を達成した。
- 世界行動検証器：順方向・逆方向の非対称性による自己改善型世界モデル世界モデル2026/4/1
世界モデルが自身の予測誤差を検出し自己改善するフレームワークWAVを提案。状態の妥当性と行動の到達可能性を分離検証し、順方向・逆方向の非対称性を活用してサンプル効率とポリシー性能を向上させる。
- Open-H-Embodiment：医療ロボティクスにおける基盤モデルを可能にする大規模データセット医療ロボティクス/データセット/基盤モデル2026/4/1
医療ロボットの自律化を妨げるデータ不足を解決するため、複数のロボットプラットフォームにわたる大規模な医療ロボットビデオと運動学データセットを公開し、基盤モデルの開発を実証した。
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- RoboMME：ロボット汎用ポリシーの記憶能力を評価・理解するベンチマークVLA2026/3/1
長期的・履歴依存的な操作タスクにおけるVLAモデルの記憶機構を評価するため、16タスクからなる標準ベンチマークと14種の記憶拡張VLAを構築し、記憶表現の有効性がタスク依存であることを示した。
- データの類推が効率的な異種ロボット間転移を可能にする模倣学習/転移学習2026/3/1
異なるロボット間での模倣学習の転移において、単にデータ量を増やすよりも、シーンやタスクを揃えたペアデータ（データ類推）が形態の違いに対して効果的であることを示し、実世界で成功率を平均22.5%向上させた。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- SteerVLA：長尾運転シーンで視覚言語行動モデルを操舵する自動運転/VLA2026/2/1
VLMの常識推論で細かい言語指示を生成し、VLA運転ポリシーを操舵する手法を提案。閉ループベンチマークで長尾シーンの性能を大幅に改善した。
- 検証のスケーリングは視覚-言語-行動の整合性において方策学習のスケーリングより効果的になり得るVLA2026/2/1
視覚-言語-行動モデルの指示と行動のずれを減らすため、テスト時に言い換え指示と行動候補を増やして検証する手法CoVerを提案し、方策事前学習のスケーリングより高い性能を示した。
- VLAW：視覚-言語-行動ポリシーと世界モデルの反復的相互改善VLA2026/2/1
実ロボットのロールアウトデータで世界モデルの精度を高め、その世界モデルが生成する合成データでVLAモデルを改善する反復手法を提案し、実タスクで成功率を39.2%向上させた。
- RoboReward: ロボティクス向け汎用視覚言語報酬モデルVLA2026/1/1
実ロボットの大規模データセットから報酬モデル用データセットとベンチマークを構築し、4B/8Bの視覚言語報酬モデルを訓練。短期的なロボットタスクで大規模VLMを上回る性能を達成し、実機強化学習に適用した。
- Cosmos Policy: 視覚運動制御と計画のための動画モデル微調整VLA2026/1/1
大規模事前学習済み動画モデルを、アーキテクチャ変更なしの一段階の追加学習だけでロボット方策に変換し、行動・将来画像・価値を潜在フレームとして生成して計画も可能にした手法。
- 視覚-言語-行動モデルにおける人間からロボットへの転移の創発VLA2025/12/1
多様なロボットデータで事前学習したVLAモデルに人間の動画を共訓練すると、人間からロボットへのスキル転移が自然に生じることを示し、その要因が身体非依存の表現獲得にあると分析した。
- ロボットの視覚汎化のための不変性共訓練sim2real2025/12/1
ロボットデモと非物理シミュレーションの画像を共訓練し、状態類似性と観測摂動への不変性を補助タスクとして導入することで、未見の視点・照明・妨害物体への汎化性能を18%向上させた。
- 事後行動クローニング：効率的なRLファインチューニングのためのBC方策の事前学習模倣学習/RLファインチューニング2025/12/1
模倣学習で事前学習した方策がRLファインチューニングの初期値として不十分な場合があることを理論的に示し、デモンストレータ行動の事後分布をモデル化するPostBCを提案して効率的なファインチューニングを可能にした。
- PolaRiS: 汎用ロボットポリシーのためのスケーラブルな実世界→シミュレーション評価sim2real2025/12/1
実世界の短い動画スキャンからニューラル再構成で高忠実度なシミュレーション環境を構築し、汎用ロボットポリシーを実世界と強く相関する形で評価できるようにしたフレームワーク。
- π*0.6：経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- SutureBot：自律的な端から端までの縫合のための精密フレームワークとベンチマークマニピュレーション2025/10/1
da Vinci Research Kit上で針の把持から組織への刺入、結紮までの自律縫合を実現するベンチマークを提案し、1890件の縫合デモデータセットを公開。目標条件付きフレームワークで刺入点精度を59-74%改善し、最先端VLAモデルを評価した。
- Ctrl-World: ロボットマニピュレーションのための制御可能な生成ワールドモデルワールドモデル2025/10/1
多視点予測と細かい行動制御、長期一貫性を備えた制御可能なワールドモデルを提案し、汎用ロボット政策の評価と改善を可能にした。
- MemER: 経験検索によるロボット制御のための記憶の拡張マニピュレーション2025/10/1
ロボット政策に長期記憶を持たせるため、過去の重要フレームを選択・追跡する高レベル政策と、それに基づく低レベル政策の階層型フレームワークを提案し、実世界の長期的操作タスクで性能を向上させた。
- 自己誘導型アクション拡散拡散方策2025/8/1
拡散ベースのロボット方策において、各拡散ステップの提案分布を事前の決定に基づいて誘導することで、双方向デコードを効率化し、少ないサンプリング予算でも高い成功率を達成する手法を提案した。
- RoboArena：汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- SRT-H: 言語条件付き模倣学習による自律手術の階層フレームワーク手術ロボティクス2025/5/1
言語空間で計画する高レベル方策と軌道生成の低レベル方策を組み合わせ、胆嚢摘出術の体外実験で未見検体8例すべてを完全自律で成功させた。
- ロボティクスにおけるバッチオンライン強化学習で重要な要素は何か？強化学習2025/5/1
自律収集データからのバッチオンライン強化学習において、アルゴリズムクラス・方策抽出法・方策表現力の3軸を体系的に検証し、Q関数の利用と暗黙的な方策抽出が性能向上に重要であることを示した。
- 過去トークン予測による長文脈拡散ポリシーの学習模倣学習2025/5/1
拡散ポリシーに過去の行動トークンを予測する補助タスクを導入し、長い文脈の履歴情報を保持しつつメモリと計算コストを抑えて学習する手法を提案した。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- 模倣学習のための潜在拡散プランニング模倣学習2025/4/1
行動なしのデモと準最適データを活用するため、潜在空間上で動くプランナーと逆動力学モデルを拡散目的で訓練するLDPを提案し、視覚ロボット操作タスクで既存手法を上回った。
- オンライン経験を活用したデモンストレーションのキュレーション模倣学習2025/3/1
ロボットが自身のオンライン経験に基づいて成功・失敗を見分ける分類器を訓練し、質の異なるデモデータを自動で選別することで、模倣学習の性能を向上させる手法を提案。
- CoT-VLA：視覚的思考連鎖推論を用いた視覚-言語-行動モデルVLA2025/3/1
将来の画像フレームを視覚的目標として自己回帰的に予測してから行動系列を生成することで、視覚的思考連鎖推論をVLAに組み込み、実世界タスクで17%の性能向上を達成した。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- 視覚言語行動モデルの微調整：速度と成功率の最適化VLA2025/2/1
VLAモデルの微調整戦略を検討し、並列デコードやアクションチャンキングを組み合わせた最適化レシピを提案。LIBEROベンチマークで成功率を76.5%から97.1%に向上させ、推論速度も26倍高速化した。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- RoboCrowd: クラウドソーシングによるロボットデータ収集のスケーリングデータ収集2024/11/1
クラウドソーシングとインセンティブ設計でロボット模倣学習用の人間デモデータ収集を分散・拡張する枠組みを提案し、大学カフェでの2週間実験で200人以上から800エピソード超を収集した。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- お手伝いわんちゃんボット：脚式ロボットと視覚言語モデルによるオープンワールド物体取得マニピュレーション2024/10/1
四足歩行ロボットにグリッパと視覚言語モデルを組み合わせ、未知の屋内環境で指示に従って物を取ってくるシステムを実現した。
- ALOHA Unleashed：ロボット巧みさのためのシンプルなレシピマニピュレーション2024/10/1
ALOHA 2プラットフォームでの大規模データ収集とDiffusion Policyを組み合わせることで、変形物体や複雑な接触を伴う両手巧み操作タスクを模倣学習で高精度に実現できることを示した研究。
- D5RL: データ駆動型深層強化学習のための多様なデータセットオフライン強化学習2024/8/1
実世界のロボット操作・移動環境を模したシミュレーションで、スクリプト・人間操作・その他多様なデータ源を含むオフライン強化学習の新ベンチマークを提案。
- 双方向デコーディング：ガイド付きテスト時サンプリングによるアクションチャンキングの改善VLA2024/8/1
アクションチャンキングの長所と短所を分析し、テスト時に複数候補から後方一貫性と前方コントラストで最適行動を選ぶBIDを提案、シミュレーションと実機で性能を向上させた。
- 視覚言語モデルの常識推論による脚式ロボットの適応脚式ロボット2024/7/1
視覚言語モデル(VLM)の常識推論を活用し、過去の相互作用と将来の計画を考慮して脚式ロボットが未知の障害物に対処するシステムVLM-PCを提案。
- 身体性を伴う連鎖的思考推論によるロボット制御VLA2024/7/1
視覚言語行動モデルに、計画・サブタスク・動作・物体位置などの推論を段階的に行わせてから行動を予測するECoTを導入し、大規模データセット向けの合成訓練データ生成パイプラインを構築して成功率を向上させた。
- 手術ロボットトランスフォーマー（SRT）：手術タスクのための模倣学習模倣学習/手術ロボット2024/7/1
da Vinci手術ロボットの不正確な順運動学データでも模倣学習を成功させる相対行動定式化を提案し、組織操作・針操作・結紮の3タスクで実証した。
- Mobility VLA：長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- 視覚プロンプトによるアフォーダンス誘導強化学習強化学習2024/7/1
視覚言語モデルが推定するキーポイントのアフォーダンスを報酬に変換し、実世界の多様なマニピュレーションタスクで自律強化学習のサンプル効率を向上させる手法KAGIを提案。
- OpenVLA: オープンソースの視覚-言語-行動モデルVLA2024/6/1
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
- 失敗はロボットの常：展開中の迅速な価値ベース試行錯誤ロボット学習2024/6/1
ロボットの基本方針に価値関数を組み合わせ、進捗を監視して失敗時に素早く再試行・戦略変更することで成功率を20%以上向上させる手法を提案。
- HumanPlus：ヒューマノイドの人間動作模倣とシャドーイング模倣学習2024/6/1
人間の動作データセットとRGBカメラによるリアルタイムシャドーイングを組み合わせ、ヒューマノイドが自律的に多様なタスクを模倣学習できるフルスタックシステムを構築した。
- ALOHA 2：両腕テレオペレーション向けの改良型低コストハードウェアテレオペレーション2024/5/1
両腕マニピュレーション研究を加速するため、低コストで堅牢なテレオペレーション用ハードウェアALOHA 2を開発し、設計とMuJoCoモデルをオープンソース化した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- ロボットに怒鳴って教える：言語訂正によるオンザフライ改善VLA2024/3/1
人間がロボットに言語で訂正を与えることで、高レベル方策がリアルタイムに適応し、反復学習を通じて長期的タスクの成功率を向上させるフレームワークを提案。
- 合成的一般化を活用したロボットマニピュレーションの効率的データ収集マニピュレーション2024/3/1
視覚模倣学習ポリシーが環境要因を合成できることを実証し、その合成能力を活かした効率的なデータ収集戦略を提案。実機で77.5%の成功率を達成。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 異なる身体を持つロボット間の学習限界を探る：操作とナビゲーションVLA2024/2/1
ナビゲーションと操作という異なるタスクのデータを同一の目標条件付きポリシーで共同学習させ、多様な機体間での転移や未知の機体へのゼロショット制御が可能かを検証した。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- MOTO: モデルベースロボット学習のためのオフライン事前学習とオンライン微調整モデルベースRL2024/1/1
高次元観測下でのロボットタスクに向け、オフライン事前学習とオンライン微調整を組み合わせたモデルベース強化学習手法MOTOを提案し、画像入力のみでMetaWorldとFranka Kitchenを解いた。
- Mobile ALOHA：低コスト全身遠隔操作による両腕移動マニピュレーションの学習マニピュレーション2024/1/1
低コストな全身遠隔操作システムMobile ALOHAを開発し、既存の静的ALOHAデータセットとの共訓練により、エビの炒め物や調理鍋の収納など複雑な移動マニピュレーションタスクを自律的に達成できることを示した。
- SERL: サンプル効率の高いロボット強化学習のためのソフトウェアスイート強化学習2024/1/1
実世界でのロボット強化学習を効率的に行うためのライブラリを開発し、PCB組み立てやケーブル配線などのタスクで25〜50分の訓練で高い成功率を達成した。
- ロバストなマニピュレーションに有効な事前学習済み視覚表現の特性マニピュレーション2023/12/1
15の事前学習済み視覚モデルを比較し、マニピュレーションの分布シフトに対するロバスト性を決める要因を分析した。ViTでは創発的なセグメンテーション能力が分布外汎化の強い予測因子であることを示した。
- その場で適応：単一ライフでのロボット展開のための行動変調sim2real2023/11/1
事前学習した多様な行動の中から状況に応じて価値評価に基づき選択・適応し、テスト時の1エピソード内で人間の監督なしに動的に適応する手法ROAMを提案。実機四足歩行ロボットGo1でローラースケート装着時にも前進可能。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- オンライン強化学習のためのオフライン再学習：探索バイアスを緩和する分離型方策学習強化学習2023/10/1
オンライン強化学習で探索用の方策と評価用の方策を分離し、全対話データから悲観的に方策を再学習することで探索バイアスを抑え性能を向上させる手法を提案。
- 画像編集拡散モデルによるゼロショットロボットマニピュレーションマニピュレーション2023/10/1
画像編集拡散モデルを高レベルプランナーとして使い、言語指示から中間サブゴール画像を生成し、低レベル方策がそれを達成することで、未知の物体や状況にも汎化するロボット操作手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- ロボットのファインチューニングを簡単に：自律的な実世界強化学習のための報酬と方策の事前学習マニピュレーション2023/10/1
多様なデータセットから多タスクマニピュレーション方策を事前学習し、視覚言語モデルによる報酬分類器を用いて、人間の介入を最小限に抑えながら実世界で自律的にファインチューニングするシステムRoboFuMEを提案。
- RoboCLIP: 実演1回でロボット方策を学習模倣学習2023/10/1
動画またはテキストの実演1つからVLMで報酬を生成し、ロボット操作タスクを強化学習で学習する手法を提案。
- Q-Transformer：自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- ロボットのパルクール学習歩行2023/9/1
視覚情報のみを用いた単一の強化学習方策で、四足ロボットが障害物を乗り越えたり隙間をくぐったりする多様なパルクール動作を実世界で自律的に行えるようにした研究。
- BridgeData V2: 大規模ロボット学習のためのデータセット模倣学習2023/8/1
低コストロボットで24環境・6万軌道を収集した大規模多様データセットを公開し、模倣学習やオフライン強化学習の性能がデータ量とスキル多様性で向上することを示した。
- ロボットに手を：ハンドアイ型人間動画デモンストレーションによる汎化可能なマニピュレーション学習マニピュレーション2023/7/1
ハンドアイカメラを搭載したロボットの模倣学習において、ラベルなしの人間動画を活用し、明示的なドメイン適応なしに汎化性能を向上させる手法を提案した。
- ウェイポイントベースの模倣学習によるロボットマニピュレーションマニピュレーション2023/7/1
軌道を線形近似できる区間の端点を自動的にウェイポイントとして抽出する前処理モジュールAWEを提案し、模倣学習の誤差蓄積を抑えて成功率を向上させた。
- 対照的な例ベース制御オフライン強化学習2023/7/1
高リターン状態の例から報酬関数を学習する代わりに、マルチステップ遷移の暗黙モデルを学習し、例ベース制御のQ値を表現するオフライン手法を提案。
- Polybot: ロボット間の多様性を活かして単一ポリシーを学習マニピュレーション2023/7/1
手首カメラとモジュール化されたコードベースで観測・行動空間を揃え、対照学習で内部表現を整えることで、複数のロボットで使える単一の操作ポリシーを学習する手法を提案。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 視覚ロボットマニピュレーションにおける模倣学習の汎化ギャップの分解模倣学習2023/7/1
模倣学習による視覚ロボット操作において、照明やカメラ配置などの変動要因ごとに汎化の難しさを定量化し、シミュレーションと実機で一貫した難易度順序を明らかにした。
- オフラインで訓練し、オンラインでテスト：実機ロボット学習ベンチマークsim2real2023/6/1
共有ロボットハードウェアとオープンソースデータセットを提供し、遠隔からオフライン学習手法を実機で評価できるベンチマークTOTOを提案した。
- 低コストハードウェアによる繊細な両手マニピュレーションの学習マニピュレーション2023/4/1
低コストな両腕ロボットと遠隔操作インターフェースを用い、実演からの模倣学習でバッテリー挿入などの繊細な両手作業を80〜90%の成功率で実現した。
- 制御中心の動画予測ベンチマーク動画予測2023/4/1
ロボット操作の計画における動画予測モデルの性能を評価するため、11タスクカテゴリ・310インスタンスを含む制御ベンチマークVP²を提案し、既存の知覚指標が下流タスクの成功を正確に予測できないことを示した。
- 振る舞い検索：未ラベルデータセットを照会する少数ショット模倣学習模倣学習2023/4/1
少量の専門家データを使い、未ラベルで非最適な振る舞いを含む大規模データセットからタスクに関連する遷移を選択的に検索し、それらを組み合わせて学習することで、画像ベースのロボットマニピュレーションタスクにおいて効率的な少数ショット模倣学習を実現した。
- 自己改善ロボット：視覚運動強化学習のエンドツーエンド自律化強化学習2023/3/1
少数の専門家デモから報酬関数を推論し、タスクの実行と取り消しを自律的に練習することで、視覚入力から方策と報酬をエンドツーエンドで学習する自己改善ロボットシステムMEDAL++を提案。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- ロボティクスのための言語駆動型表現学習表現学習2023/2/1
人間の動画と言語キャプションから、言語条件付き視覚再構成と視覚接地言語生成を組み合わせてロボット学習用の視覚表現を学習するVoltronを提案し、5つのロボット学習問題で従来手法を上回る性能を示した。
- 手のひらの中のNeRF：新視点合成によるロボティクスのための補正拡張sim2real2023/1/1
NeRFを使って視覚実演に合成ノイズを加え、追加の専門家監督なしにロボット把持方策を改善するオフライン拡張手法SPARTNを提案。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- ロボットのための事前学習：オフラインRLで少数試行から新タスクを学習オフラインRL2022/10/1
多様なロボットデータセットで事前学習したオフラインRL（CQL）を、10件程度の実演で新タスクに迅速に微調整するPTRを提案し、実機WidowXで有効性を示した。
- 異なる制御周波数でのオフライン強化学習オフライン強化学習2022/7/1
制御周波数が異なるオフラインデータを混ぜて強化学習する際の問題を分析し、NステップリターンのNを離散化サイズに応じて調整することで学習を安定化させる手法を提案した。
- 耳で聞いて学ぶ：視覚遮蔽下での音声・視覚模倣学習によるスキル獲得マルチモーダル模倣学習2022/5/1
視覚が遮られる操作タスクを、グリッパー付近のマイク音と視覚入力からオフライン模倣学習＋オンライン介入で学習し、音声なしより成功率を約50%向上させた研究。
- 状態分布マッチングによる非エピソード強化学習非エピソード強化学習2022/5/1
デモンストレーションの状態分布に合わせて後退方策を訓練し、環境リセットを学習する非エピソード強化学習手法MEDALを提案。難しいタスクで40%の性能向上を達成。
- 生成モデルと強化学習を組み合わせたデータ効率の良い深層方策の学習と評価強化学習2022/4/1
行動の潜在変数を導入し、生成モデルで有効な動作系列を事前知識として活用することで、安全な探索とデータ効率を実現するGenRLフレームワークを提案し、ホッケーとバスケットボールのタスクで有効性を示した論文。
- 言う通りでなく、できる通りに：ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- R3M: ロボットマニピュレーションのための汎用視覚表現マニピュレーション2022/3/1
人間の動画データで視覚表現を事前学習し、下流のロボット操作タスクを少ないデータで効率的に学習できることを示した論文。
- 視覚ベースのマニピュレータは手元も見るべきであるマニピュレーション2022/3/1
手元視点（アイ・イン・ハンド）と第三者視点の視覚情報が操作学習と汎化に与える影響を体系的に分析し、手元視点の有効性と第三者視点の情報ボトルネック正則化による汎化改善を示した。
- 制御における構成的汎化のためのポリシーアーキテクチャ模倣学習/強化学習2022/3/1
環境内のエンティティ構造を活かしたDeep SetsやSelf Attentionベースのポリシーを提案し、ロボット操作タスクで少ないデータで高い成功率と構成的汎化を実現した。
- オフライン強化学習におけるラベルなしデータの活用法オフラインRL2022/2/1
ラベルなしデータに報酬ゼロを付与する単純な手法が、報酬モデル学習なしでも理論・実験的に有効であることを示し、その条件と改善策を明らかにした論文。
- BC-Z: ロボット模倣学習によるゼロショットタスク汎化模倣学習2022/2/1
言語や動画で条件付けできる模倣学習システムを構築し、100以上のタスクで学習して未見の24タスクを実演なしで平均44%の成功率で遂行できることを示した。
- 複数の不確実性集合に対するロバスト方策学習ロバスト強化学習2022/2/1
システム同定とロバスト強化学習を組み合わせ、複数の異なる摂動集合に対してロバストな方策を学習する手法を提案し、多様な制御タスクで最悪ケース性能の向上を示した。
- MESA: 安全な適応と故障耐性のためのオフラインメタ強化学習メタ強化学習2021/12/1
安全・危険な振る舞いのオフラインデータからリスク指標をメタ学習し、未知の環境でも制約違反を抑えつつ素早く適応する手法MESAを提案した論文。
- 継続的メタ方策探索メタ強化学習2021/12/1
過去タスクを再訪せずに逐次的にメタ学習するCoMPSを提案し、連続制御タスク列で既存手法を上回る性能を示した。
- 自律強化学習：形式化とベンチマーク強化学習2021/12/1
試行間のリセットを人間が行わない自律的な強化学習の枠組みを定式化し、多様なタスクを含むシミュレーションベンチマークEARLを提案した論文。既存手法が介入最小化で苦戦することを示す。
- オフラインデータとクラウドソーシング注釈から言語条件付きロボット行動を学習言語条件付きマニピュレーション2021/9/1
ロボットのオフラインデータにクラウドソーシングで言語ラベルを付与し、言語指示の達成を判定する分類器を学習して報酬関数とし、多タスクオフライン強化学習で視覚ベースのマニピュレーションを実現した。
- マルチタスクオフライン強化学習のための保守的データ共有オフラインRL2021/9/1
複数タスクのオフラインデータを混ぜると分布シフトが悪化する問題に対し、タスク毎の改善度に基づいてデータを振り分ける保守的データ共有(CDS)を提案し、移動・ナビゲーション・視覚マニピュレーションで有効性を示した論文。
- 長期的視覚運動タスクを解くための例示駆動型モデルベース強化学習モデルベースRL2021/9/1
学習したモデル・批評家・成功分類器を用いて原始スキルを獲得し、記号プランナと組み合わせて長期的視覚運動タスクを遂行するモデルベースRL手法EMBERを提案した。
- Bridge Data：クロスドメインデータセットでロボット技能の汎化を促進模倣学習2021/9/1
10環境71タスク7200デモからなる大規模マルチドメインデータセットを収集し、新規タスク・新規環境での学習に併用すると成功率が約2倍になることを示した。
- 経験を保持する生涯ロボット強化学習強化学習2021/9/1
ロボットがタスクを逐次的に学習する際、過去のデータと方針を活用してスキルを累積的に獲得する手法を提案し、シミュレーションと実機でサンプル効率の向上と10タスクの連続学習を実証した。
- 変分モデルを用いた視覚的敵対的模倣学習模倣学習2021/7/1
視覚的なデモンストレーションから変分モデルベースの敵対的模倣学習(V-MAIL)を提案し、サンプル効率と安定性を向上させて視覚運動ポリシーを学習する。
- サブゴールカリキュラムによる自律強化学習強化学習2021/7/1
毎試行のリセットを不要にし、初期状態のカリキュラムを自動生成してエージェントが容易なタスクから難しいタスクへと学習できるVaPRLを提案した論文。
- 実行可能モデル：ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- MT-Opt：大規模継続的マルチタスクロボット強化学習マルチタスク強化学習2021/4/1
複数ロボットで探索・経験・表現を共有しながら多様なタスクを同時に学習する継続的マルチタスク強化学習システムMT-Optを提案し、実機12タスクで有効性を示した。
- 大規模動画予測のための貪欲階層型変分オートエンコーダ動画予測2021/3/1
階層型オートエンコーダの各層を貪欲に学習させることで、GPUメモリ制約と最適化困難を同時に解決し、大規模多様データでの動画予測性能と実ロボットタスク成功率を向上させた研究。
- 野生の人間動画から汎化可能なロボット報酬関数を学習する報酬学習2021/3/1
YouTubeなどの人間動画と少量のロボットデータを組み合わせ、2つの動画が同じタスクかどうかを判別するドメイン非依存ビデオ判別器(DVD)を訓練して、未見の環境やタスクにもゼロショットで汎化するマルチタスク報酬関数を実現した。
- ロボットプラットフォーム間の少数ショット方策適応のためのベイズメタ学習メタ学習2021/3/1
異なるロボットハードウェアへ、少数の軌道デモのみから方策を適応させる少数ショットメタ学習手法を提案し、低次元潜在変数で不確実性をモデル化してデータ効率の良い適応を実現した。
- COMBO: 保守的なオフラインモデルベース方策最適化オフライン強化学習2021/2/1
学習したダイナミクスモデルでのロールアウトから得た分布外状態行動ペアで価値関数を正則化し、明示的な不確実性推定なしに保守的なオフライン強化学習を実現した手法。
- 実世界ロボットのための深層強化学習の訓練法：我々が学んだ教訓深層強化学習2021/2/1
実ロボットに深層強化学習を適用した複数のケーススタディを通じ、実環境特有の課題と対処法、未解決の課題を整理したレビュー論文。
- 潜在空間モデルによる画像からのオフライン強化学習オフラインRL2020/12/1
画像観測から潜在状態のダイナミクスモデルを学習し、潜在空間で不確実性を表現することで、オフライン強化学習を視覚タスクに拡張した研究。
- 自己教師あり機能距離を用いたモデルベース視覚計画モデルベース計画2020/12/1
オフラインのラベルなしデータのみから視覚ダイナミクスモデルと動的距離関数を学習し、目標観測を指定するだけで多様なタスクを達成するモデルベース視覚計画手法を提案した。
- 他エージェントの潜在戦略を学習して協調を促す強化学習フレームワークマルチエージェント強化学習2020/11/1
相手エージェントの政策を高次元の潜在表現として学習し、その潜在ダイナミクスを利用して相手の将来の戦略に影響を与え協調を促す強化学習手法を提案。シミュレーションと実機エアホッケーで有効性を実証した。
- 動画を活用した強化学習：オフライン観察と対話の組み合わせ強化学習2020/11/1
人間の動画とロボットの対話データを組み合わせて方策と価値関数を学習するRLVフレームワークを提案し、ゼロから学ぶRLの半分以下のサンプルで視覚ベースの難しいスキルを獲得できることを示した。
- 画像からのメタ強化学習を潜在状態モデルで実現するMELDメタ強化学習2020/10/1
潜在状態モデルをタスク推論として用い、画像入力からメタ強化学習を行うMELDを提案し、実機WidowXで8時間の訓練により新しい位置へのケーブル挿入を実現した。
- 安全を学ぶ：安全クリティックを用いた深層強化学習安全強化学習2020/10/1
安全な環境で安全性を学習し、その直感を新たなタスクの制約に転移する安全制約付き転移学習を提案。ナビゲーション・四足歩行・器用な手先操作で、事故を大幅に減らしつつ学習を高速化・安定化できることを示した。
- Recovery RL：学習した回復ゾーンを用いた安全な強化学習安全強化学習2020/10/1
オフラインデータから制約違反領域を事前学習し、タスク方策と回復方策を分離することで、探索と安全性のトレードオフを効率的に両立させる安全強化学習手法を提案。
- 重要状態の少数例で誘導するバッチ探索によるスケーラブルなロボット強化学習探索/強化学習2020/10/1
重要状態の画像を少数だけ人手で与え、その領域に探索を集中させるBEE手法を提案し、視覚ベースのマニピュレーションで多様なデータを効率的に収集できることを示した。
- マルチタスク学習における転移の測定と活用マルチタスク学習2020/10/1
タスク間の情報転移（トランスファレンス）を定量化する類似度指標を開発し、共同学習すべきタスクの選択や勾配結合の最適化に活用して性能を向上させた論文。
- 目標に即した予測：重要なものだけをモデル化する学習モデルベースRL2020/7/1
学習したダイナミクスモデルの目的を下流タスクに合わせ、目標に関連する状態のみを自己教師ありで予測する手法を提案し、モデルフリーRLやタスク非依存モデルを上回る性能を示した。
- 生涯にわたる非定常性に対応する深層強化学習強化学習2020/6/1
環境が生涯にわたり変化し続ける設定を定式化し、潜在変数モデルで環境表現を学習しながらオフポリシー強化学習を行う手法を提案した。
- 目標条件付き階層予測器による長期視覚計画視覚計画2020/6/1
目標情報を考慮した潜在空間予測器を階層的に組み合わせ、粗から細へと軌道を最適化することで、従来より長い視覚計画タスクを解けるようにした研究。
- 学習を止めない：ロボット強化学習におけるファインチューニングの有効性マニピュレーション2020/4/1
強化学習で事前学習した視覚ベースのマニピュレーションポリシーを、背景・物体・照明・ロボット形状の変化に対してオフポリシーRLでファインチューニングし、ゼロから学習する0.2%未満のデータで適応できることを示した論文。
- 意味のあるタスク空間を弱教師あり学習で切り出す強化学習強化学習2020/4/1
弱い監督信号を用いて、無意味なタスクの巨大な空間から意味的に整合したタスク部分空間を自動的に分離する枠組みを提案し、探索効率と状態間距離の表現獲得を改善した。
- 進化的メタ学習による迅速に適応可能な脚式ロボット歩行2020/3/1
進化的戦略に基づくメタ学習とノイズに強いバッチ山登り適応を組み合わせ、四足歩行ロボットが3分未満の実データで動力学変化に素早く適応できる手法を提案した。
- 自律的改善によるスケーラブルなマルチタスク模倣学習模倣学習2020/3/1
マルチタスク設定を活用し、あるタスクでの失敗試行を別タスクの成功例として再利用することで、強化学習なしにロボットが自律的にデータ収集しながら模倣学習を改善できる手法を提案した。
- OmniTact：多方向高解像度触覚センサ触覚2020/3/1
複数のマイクロカメラでゲル状皮膚の多方向変形を捉える、ロボット指先用の高解像度触覚センサを開発し、コネクタ挿入や接触角推定タスクで有効性を示した論文。
- マルチタスク学習のための勾配外科手術マルチタスク学習2020/1/1
マルチタスク学習でタスク間の勾配が干渉する問題を特定し、競合する勾配を射影で取り除く手法を提案して効率と性能を改善した。
- 観察と相互作用から予測モデルを学ぶモデルベース強化学習2019/12/1
ロボットが自身の相互作用データに加え、人間の動画など他者の観察データも活用して予測モデルを学習する手法を提案し、道具使用の計画に応用した。
- RoboNet: 大規模マルチロボット学習のための共有データベースマニピュレーション2019/10/1
7種類のロボットから1500万フレームの動画を集めた共有データベースRoboNetを構築し、視覚ベースのマニピュレーション学習に活用できることを示した。
- Meta-World：マルチタスク・メタ強化学習のためのベンチマークメタ強化学習2019/10/1
50種類のロボット操作タスクからなるオープンソースのシミュレーションベンチマークを提案し、7つの最先端メタRL・マルチタスクRL手法を評価した。
- 階層的先見:視覚的サブゴール生成による長期タスクの自己教師あり学習視覚計画2019/9/1
目標画像からサブゴール画像を生成して計画を階層化し、長期視覚ベース操作タスクの計画性能を大幅に向上させた研究。
- 物理理解による即興ツール使用：視覚的先読みを用いた新規物体の活用ツール使用2019/4/1
ロボットが未見の物体をツールとして使い、画像入力のみから複雑な道具使用タスクを遂行するモデルとサンプリング最適化手法を提案した。
- 報酬設計不要のエンドツーエンドロボット強化学習強化学習2019/4/1
成功例の少数サンプルと能動的なラベル問い合わせだけで報酬関数を学習し、カメラ画像入力の実機マニピュレーションを人手の報酬設計なしで獲得する手法を提案。
- 連合型メタ方策探索メタ強化学習2019/4/1
各タスクをオフポリシー学習で解き、その解を模倣して単一のメタ学習器に統合することで、メタ強化学習のサンプル効率を大幅に改善する手法を提案した。
- 触覚で操る：深層予測モデルによる触覚ベース制御触覚2019/3/1
高解像度触覚センサと深層ニューラルネットのダイナミクスモデルを組み合わせ、生の触覚入力から触覚サーボを教師なしで学習する枠組みを提案し、ボールやサイコロなどを目標触覚状態へ操作できることを示した。
- 報酬なしメタ学習メタ学習2019/3/1
MAMLを拡張し、ファインチューニング時に報酬ではなく環境の観測可能なダイナミクスを用いることで、報酬信号なしで方策を自己適応させる手法を提案した論文。
- 分布計画ネットワークによる教師なし視覚運動制御教師なし強化学習2019/2/1
報酬なしのインタラクションから目標までの進捗を測る埋め込み空間を学習し、自律的な強化学習を可能にする手法を提案。シミュレーションと実機マニピュレーションで有効性を示した。
- 物体指向の予測と計画による物理的相互作用の推論物体中心表現学習2018/12/1
物体中心表現を教師なしで学習し、知覚・物理予測・描画を統合したモデルO2P2を提案。学習済み表現を用いて訓練時より複雑なブロックタワーの構築が可能なことを示した。
- メタ学習による深層オンライン学習：モデルベース強化学習のための継続的適応モデルベースRL2018/12/1
SGDによるオンライン更新と中国レストランプロセス事前分布を用いたEMアルゴリズムでモデル群を管理し、メタ学習で適応を効果的にする手法MOLeを提案。モデルベース強化学習に適用し、非定常な地形やモータ変化への継続的適応で既存手法を上回ることを示した。
- 視覚的先読み：視覚ベースロボット制御のためのモデルベース深層強化学習モデルベース強化学習2018/12/1
カメラ画像から未来を予測するモデルを自己教師ありで学習し、その予測に基づくモデル予測制御で未知の物体を含む多様な操作タスクを実現した研究。
- 少数例からの目標推論による視覚運動学習と計画少数ショット目標推論2018/10/1
成功終状態の画像を数枚与えるだけでタスク目標を学習する少数ショット目標学習を定式化し、メタ学習した分類器を強化学習や視覚モデルベース計画と組み合わせてロープ操作・視覚ナビゲーション・実機物体配置で有効性を示した。
- 人間の動画1本から複合視覚運動タスクを学習する階層的模倣学習模倣学習2018/10/1
人間がタスクを行う動画1本と他物体でのサブタスク実演データを用い、プリミティブ動作の学習と多段階タスクへの動的組み合わせを実ロボットで実現した。
- 時間反転を自己教師信号に用いたマニピュレーション学習マニピュレーション2018/10/1
目標状態から逆方向に軌道を予測する時間反転モデルを自己教師ありで学習し、実機でのテトリス型ブロック組立をデモなしで実現した。
- 再試行によるロバスト化：自己教師あり学習を用いた閉ループロボットマニピュレーションマニピュレーション2018/10/1
生画像入力のみから自己教師あり学習でロボットの操作スキルを獲得する手法を提案し、不完全な予測モデルでも対象物を追跡しながら繰り返し再試行することで把持や物体の再配置などの複雑なタスクを実現した。
- 汎用プランニングネットワークプランニング2018/4/1
微分可能なプランニングをゴール指向方策に組み込み、潜在空間での勾配降下による軌道最適化を模倣学習で端到端に学習する手法を提案。画像ゴール指定や強化学習の距離報酬、異なる形態のロボット間の転移に有効であることを示した。
- 確率的敵対的動画予測動画予測2018/4/1
潜在変数モデルと敵対的学習を組み合わせ、将来の動画フレームをよりリアルかつ多様に予測する手法を提案した論文。
- モデルベース強化学習による実世界でのオンライン適応学習メタ学習/sim2real2018/3/1
メタ学習で力学モデルの事前分布を訓練し、実世界の脚式小型ロボットが脚の欠損や未知の地形、姿勢推定誤差などにオンラインで素早く適応できることを示した論文。
- 人間の動画から一発学習：ドメイン適応メタ学習による模倣模倣学習2018/2/1
メタ学習で事前知識を獲得し、人間の1本の動画からロボットが新しい物体の配置・押し・ピック＆プレースを学習できる手法を提案。
- 視覚ベースロボット把持のための深層強化学習：オフポリシー手法のシミュレーション比較評価マニピュレーション2018/2/1
視覚ベースのロボット把持タスク向けに、未見物体への汎化とオフポリシー学習に焦点を当てたシミュレーションベンチマークを提案し、複数のQ関数推定手法を比較評価した。
- 確率的変分動画予測動画予測2017/10/1
潜在変数のサンプルごとに異なる未来を予測する確率的変分動画予測手法SV2Pを提案し、実世界動画のマルチフレーム予測で従来法を大きく上回る性能を示した。
- 時間スキップ接続を用いた自己教師あり視覚計画視覚計画2017/10/1
ロボットが自分の収集データから直接映像予測を行い、遮蔽物があっても物体を追跡できる時間スキップ接続付きモデルで目標達成のための行動を計画する手法を提案した。
- メタ学習によるワンショット視覚模倣学習模倣学習2017/9/1
メタ学習を用いて、ロボットが1回の視覚的なデモンストレーションから新しいスキルを学習できる手法を提案した論文。
- モデル非依存メタ学習による深層ネットワークの高速適応メタ学習2017/3/1
任意の勾配降下モデルに適用できるメタ学習アルゴリズムMAMLを提案し、少数サンプルでの新タスクへの高速適応を実現した。
- 半教師あり強化学習によるスキルの汎化強化学習2016/12/1
報酬が得られる限定環境と報酬なしの多様な環境を組み合わせ、逆強化学習的にタスク目的を推定して行動を汎化する半教師あり強化学習を提案した論文。
- リセット不要のガイド付き方策探索：確率的初期状態に対応した効率的深層強化学習マニピュレーション2016/10/1
毎エピソードのリセットを必要とせず、ランダムな初期状態でも高次元ニューラルネット方策を効率的に学習できる強化学習手法を提案し、PR2ロボットで実機検証した。
- ロボット動作計画のための深層視覚的先読みモデルベース強化学習2016/10/1
行動条件付き動画予測モデルとモデル予測制御を組み合わせ、未ラベルデータのみで実機ロボットが物体押し動作を学習・実行できる手法を開発した。
- 行動条件付き動画予測による物理的相互作用の教師なし学習動画予測2016/5/1
ラベルなしで物体の動きを学ぶため、画素の動き分布を予測する行動条件付き動画予測モデルを開発し、ロボットの押し動作5.9万件のデータセットで従来法より高精度な予測を実現した。
- 誘導コスト学習：方策最適化による深層逆最適制御逆強化学習2016/3/1
示範から非線形なコスト関数をニューラルネットで学習する逆最適制御手法を提案し、高次元ロボットのトルク制御で従来法より高効率・高複雑タスクを実現した。
- 視覚運動学習のための深層空間オートエンコーダ視覚運動学習2015/9/1
カメラ画像から深層空間オートエンコーダで物体位置などの特徴点を自動抽出し、局所線形モデルに基づく強化学習でロボットの運動スキルを獲得する手法を提案した。
- 連続メモリ状態を持つ深層ニューラルネットワーク方策の学習強化学習2015/7/1
方策が読み書きできる連続値メモリ状態を状態・行動空間に追加し、軌道最適化と教師あり学習を組み合わせたguided policy searchで、部分観測下のロボット操作・ナビゲーションタスクを記憶が必要な方策として学習する手法を提案した。
- 視覚運動ポリシーのエンドツーエンド深層学習マニピュレーション2015/4/1
画像から直接モータトルクへのポリシーを深層CNNで学習し、知覚と制御をエンドツーエンドで訓練する手法を提案。実世界のマニピュレーションタスクで有効性を示した。
