Pieter Abbeel
UC Berkeley
収録論文 218本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 実世界デビュー前の統一試験：コーディングエージェントによるロボット制御ベンチマークベンチマーク/エージェント2026/11/9
コーディングエージェントが多様なロボットを物理制約下で制御できるかを評価するため、47体のロボット・35スイート・1,156タスクからなる統一ベンチマーク「Embodied First Exam」を提案した。
- エネルギーベースのポリシーオーケストレーション階層制御2026/11/2
階層制御において、各低レベルポリシーごとに目標の実現可能性を表すエネルギーを学習し、実行時にポリシーと目標のペアを選択・調整する手法EPOを提案。ヒューマノイドの移動操作タスクでsim2realを実証した。
- ロボット操作エージェントを民主化する統合ハーネスとオープンモデルVLA2026/11/1
オープンウェイトモデルでロボット操作エージェントを研究・学習できる統合ハーネスを提案し、既存の商用モデルを上回る性能を示した。
- 単一の微分可能ワールドモデルでヒューマノイド全身制御をスケールさせる手法ヒューマノイド全身制御2026/10/20
剛体シミュレータのログから学習した微分可能ワールドモデルと追従ポリシーを同時訓練し、少ない計算量で大規模モーション追従を実現した研究。
- SWAP: テスト時操作可能なヒューマノイド全身衝突回避ヒューマノイド/全身制御2026/10/19
拡散ポリシーで多様な衝突回避動作を生成し、全身RL制御でバランスを保つ階層型フレームワークを提案。実機G1で静的・動的障害物の回避を実証。
- 自己教師あり慣性オドメトリ慣性オドメトリ2026/10/19
短い時間窓ごとのIMU積分を教師として慣性オドメトリモデルを自己教師あり学習し、ポーズグラフ蒸留で改善する手法を提案。正解軌道なしで歩行者・ドローン・四足・ヒューマノイドの6データセットで高精度を達成。
- StopWatch: 物体ゴールナビゲーションのためのゴールグラウンディング物体ゴールナビゲーション2026/10/16
VLMベースの物体ゴールナビゲーションの失敗原因がゴールの認識不足にあると特定し、ゴールを明示的にグラウンディングすることで6つのベンチマークで最高性能を達成した論文。
- ロボットエージェントのためのオンライン探索スケーリングロボットエージェント/オンライン探索2026/10/15
汎用コーディングエージェントがロボット制御コードを生成し、オンライン探索でタスク達成の行動系列を発見・プログラム化するフレームワークRAXを提案。単腕・双腕・多指・移動・ヒューマノイドで実機・シミュレーション検証し、探索規模拡大に伴う汎化性能向上を示した。
- Workhorse: 人間のデータから頑健な全身ヒューマノイドの移動操作を学習全身移動操作2026/10/6
人間の実演データから、視覚プランナーと強化学習トラッカーを組み合わせて、ヒューマノイドロボットの全身移動操作を学習する手法を提案。実機で箱の仕分けやキャッチなどのタスクを実現。
- QF3: フィルタリングされたQ勾配による高速フロー強化学習強化学習2026/10/6
フローポリシーを強化学習で訓練する際、批評家の行動勾配を1ステップ予測に逆伝播し、信頼できる行動次元のみに適用するオフポリシー手法を提案。ヒューマノイド歩行をゼロから学習し実機にゼロショット転移、既存手法より10倍高速化を実現。
- GOTT: 再利用可能なクロスエンボディメントプリミティブによる物体中心の器用マニピュレーションマニピュレーション2026/10/2
ロボットに依存しない物体軌道と到達仕様から、多指ハンドで安定した接触を確立し物体運動を追従する再利用可能なプリミティブを提案し、多様なハンド形態で頑健な接触とタスク成功率の向上を示した。
- 再構成・練習・実世界展開：身体性エージェントのためのガイド付き自己改善マニピュレーション2026/10/1
オフラインデータから操作タスクを抽出し、シミュレーションで練習して失敗を診断しながらスキルとプロンプトを自己改善し、実機で高い成功率を達成するフレームワークRPGを提案。
- 触覚的好奇心がロボットのインタラクションを駆動する触覚2026/9/30
触覚フィードバックを探索の内在的報酬として用い、接触を伴う操作スキルを効率的に学習するフレームワークTacExを提案。タスク報酬や専門家デモなしで物体操作を獲得し、VLAモデルの事後学習にも有効。
- 反実仮想動画生成によるスケーラブルなヒューマノイドの移動操作移動操作2026/9/29
少数の実動画から反実仮想の人間-物体インタラクション動画を大量生成し、実→シミュ→実のパイプラインで物理的に妥当な軌道に変換して、多様な物体の運搬を実機で実現する方策を学習した。
- 学習された停止可能性値によるヒューマノイドの安全停止ヒューマノイド制御2026/9/2
ヒューマノイドの緊急停止を到達回避問題として捉え、学習した停止ポリシーと停止可能性推定器を組み合わせたタスク非依存のフレームワークを提案。安全に停止できる場合のみ停止し、不可能な場合はフォールバック動作に切り替える。
- 私の真似をして：日常の人間ビデオからの器用な操作データ器用操作/データ生成2026/6/17
単眼RGBの人間ビデオから手と物体のインタラクションを再構築し、多指ロボットハンドの実行可能な操作軌道へとリターゲティングするアルゴリズムを提案した。
- Mana: 関節ツールの巧みな操作マニピュレーション2026/6/11
関節を持つツールの器用な操作を、アニメーション問題として捉え直したシミュレーションから実機への転移フレームワークを提案。
- LadderMan: 人型ロボットによる知覚的梯子登りの学習歩行2026/6/4
人型ロボットが様々な梯子を頑健に登り、梯子上での操作も行える統一システムを提案。シミュレーションで学習したポリシーを実機にゼロショット転送し、多様な梯子形状での登攀と操作タスクを実現した。
- オープンデータ・訓練・評価によるスケーラブルな行動クローニング行動クローニング2026/6/1
大規模な遠隔操作データセットABC-130K（3500時間、13万エピソード）とオープンソースのハードウェア・訓練・シミュレーション基盤を公開し、行動クローニングの再現可能な研究基盤を提供した。
- VLK: 再構築シーンでの合成インタラクションによるヒューマノイドの移動操作学習ヒューマノイド/移動操作/sim2real2026/6/1
3Dガウススプラッティングで再構築した屋内シーンで、視覚・言語・運動のペアデータを合成生成し、ヒューマノイドの移動操作ポリシーを学習する手法を提案。実機Unitree G1でナビゲーションと物体運搬を実証した。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- SARM2: 自己改善型ロボット操作のためのマルチタスク段階認識報酬モデリングマニピュレーション2026/6/1
長期的なロボット操作タスクにおいて、行動クローニングに依存せず、自己ロールアウトからポリシーを改善するための、段階推定器とMMoE価値ヘッドを組み合わせたマルチタスク報酬モデルRMと、それを用いた自己改善フレームワークSPIRALを提案した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- D-REX: 巧みな把持学習のための微分可能な実世界-シミュレーション-実世界エンジン把持/シミュレーション2026/3/1
ガウススプラット表現を用いた微分可能エンジンを構築し、実世界の視覚観測とロボット制御信号から物体質量を同定しつつ、把持ポリシーを同時学習する手法を提案。
- 視覚言語行動モデルのためのクロスハンド潜在表現VLA/器用操作2026/3/1
多様な器用なロボットハンド間で共有可能な統一潜在行動空間を導入し、標準的なVLAアーキテクチャに組み込むことで、クロスエンボディメント学習を可能にするXL-VLAを提案した。
- ナイフで皮をむく方法：細粒度操作と人間の好みの整合マニピュレーション2026/3/1
ナイフでの皮むきを例に、力覚を考慮した模倣学習と人間の好みに基づく報酬モデルで、連続的で主観的な成功基準を持つ操作タスクを学習する枠組みを提案した。
- 知覚型ヒューマノイドパルクール：モーションマッチングによる動的人間スキルの連鎖歩行2026/2/1
人間の動的スキルをモーションマッチングで連鎖させ、深層知覚と強化学習により、ヒューマノイドが障害物を乗り越え・登り・跳び越え・転がり落ちるパルクールを自律実行できるフレームワークを提案。
- DreamDojo: 大規模人間動画から学ぶ汎用ロボット世界モデル世界モデル2026/2/1
44,000時間の一人称視点人間動画から汎用的なロボット世界モデルを学習し、連続潜在行動を代理ラベルとして活用することで、巧みな操作の物理理解と精密な行動制御を実現した研究。
- RPL: 複雑地形におけるロバストな人型知覚移動の学習歩行2026/2/1
2段階の学習フレームワークにより、複数の深度カメラを用いて複雑な地形を多方向に歩行し、荷物を積んでもロバストな人型ロボットの移動を実現した。
- フローポリシー勾配によるロボット制御強化学習2026/2/1
フローマッチングを用いたポリシー勾配法を改良し、脚式移動やヒューマノイド動作追従、マニピュレーション、sim-to-real転移を実現した研究。
- mjlab：GPU加速ロボット学習のための軽量フレームワークロボット学習フレームワーク2026/1/1
GPU加速物理シミュレーションとモジュール式環境を組み合わせた、最小限のセットアップで使える軽量なロボット学習フレームワークを提案。
- 接触を考慮したニューラルダイナミクスsim2real2026/1/1
シミュレータの力学を触覚接触情報で補正するニューラルダイナミクスモデルを学習し、接触を伴うタスクのsim-to-realギャップを縮小する手法を提案。
- 大規模動画プランナーによる汎用ロボット制御VLA2025/12/1
インターネット規模の人間活動動画で生成的なロボット計画モデルを基盤モデル規模で学習し、新しい場面やタスクに対してゼロショットで動画計画を生成して実機の行動に変換する手法を提案した。
- 15分でヒューマノイドのsim-to-real歩行を学習sim2real2025/12/1
オフポリシーRL（FastSAC/FastTD3）と大規模並列環境を組み合わせ、Unitree G1やBooster T1の歩行制御を単一GPUで15分で学習し実機転移を実現した。
- TWIST2: スケーラブルでポータブルな全身ヒューマノイドデータ収集システムヒューマノイド2025/11/1
VRと低コストのロボット首を用いてモーションキャプチャ不要でヒューマノイドの全身遠隔操作とデータ収集を実現し、15分で100件のデモをほぼ100%の成功率で収集できるシステムを開発した。
- DIPOLE: 視覚と幾何を融合したロバストな視覚運動汎化VLA2025/11/1
視覚と言語・幾何の相補的なモダリティを訓練時のドロップアウトとクロスアテンションで融合し、照明や視点変化に強い拡散ポリシーを実現した。
- EgoMI：一人称視点の人間デモから能動視覚と全身マニピュレーションを学習マニピュレーション2025/11/1
人間の一人称視点の操作データから頭部と手の動きを同時に取得し、半人型ロボットで能動視覚を伴う模倣学習を実現するフレームワークを提案した。
- ライトニンググラスプ：コンタクトフィールドによる高性能な手続き型把持合成マニピュレーション2025/11/1
コンタクトフィールドというデータ構造で幾何計算と探索を分離し、多指ハンドの多様な把持を従来比桁違いに高速に生成する手法を提案。
- GaussGym：ピクセルから歩行を学習するためのオープンソース実世界→シミュレーション変換フレームワークsim2real2025/10/1
3Dガウススプラッティングを物理シミュレータに組み込み、毎秒10万ステップ超の高速フォトリアルシミュレーションを実現し、実機への転移やナビゲーション性能の向上を示した。
- ResMimic: 汎用モーショントラッキングから残差学習によるヒューマノイド全身ロコマニピュレーションへロコマニピュレーション2025/10/1
大規模な人間モーションデータで訓練した汎用モーショントラッキング方策を土台に、残差方策を学習させて物体とのインタラクションを伴うヒューマノイドの全身移動操作を実現した研究。
- 報酬モデルを用いたソフトハンドの設計学習ソフトロボティクス/設計最適化2025/10/1
遠隔操作データから報酬モデルを学習し、腱駆動ソフトロボットハンドの設計を効率的に最適化するCEM-RMフレームワークを提案。シミュレーションと実機で把持成功率が向上。
- OmniRetarget: 相互作用を保持するヒューマノイド全身移動操作・シーンインタラクション向けデータ生成sim2real2025/9/1
人間・地形・物体間の空間的・接触的関係をインタラクションメッシュで明示的に保持しながら運動をリターゲティングし、物理的に妥当で多様な全身移動操作データを生成する手法を提案。
- SARM: 長期的ロボットマニピュレーションのためのステージ認識型報酬モデリングマニピュレーション2025/9/1
自然言語のサブタスク注釈を活用し、タスクの段階と進捗を予測する報酬モデルを提案。これに基づく行動クローニングでTシャツ折りなどの長期変形物体操作を大幅に改善。
- エンドツーエンド強化学習による器用な把持政策の改善マニピュレーション2025/9/1
シミュレータと強化学習を別々のGPUに分散する手法を提案し、視覚ベースのエンドツーエンド学習を効率化して、深度を用いた器用な把持政策を訓練・蒸留した。
- 行動クローニング方策を微調整するための残差オフポリシー強化学習強化学習2025/9/1
行動クローニング方策をブラックボックスのベースとして、サンプル効率の良いオフポリシー強化学習で軽量な残差修正を学習し、高自由度系の操作を改善する手法を提案。
- 人間の運動予測モデルを模倣した深層感覚運動制御感覚運動制御2025/8/1
人間の運動予測モデルをロボットの感覚運動ポリシー訓練に活用し、強化学習でタスクを達成する手法を提案。人間とロボットのキーポイント運動の類似性を利用し、ゼロショットで予測モデルを適用する。
- シミュレーションの音：生成的音声でマルチモーダルなsim-to-realロボット方策を学習sim2real2025/7/1
物理シミュレータに大規模生成モデルを統合し、映像に条件づけたリアルな音声を合成することで、実機データなしに注ぐタスクのマルチモーダル方策を学習し、未知の容器や液体へのゼロショット転移を実現した。
- ViTacFormer：視触覚クロスモーダル表現による巧みなマニピュレーションマニピュレーション2025/6/1
視覚と触覚をクロスアテンションで融合し、将来の触覚信号を予測する自己回帰ヘッドを備えた表現学習手法を提案。多指ハンドの模倣学習に応用し、実世界タスクで成功率を約50%向上させ、11段階・2.5分の長期的操作を自律遂行した。
- SkillBlender：スキルブレンドによる汎用人型ロコマニピュレーションロコマニピュレーション2025/6/1
目標条件付きの汎用プリミティブスキルを事前学習し、それらを動的にブレンドすることで、タスク固有の報酬設計を最小限に抑えつつ多様な人型ロコマニピュレーションを実現する階層型強化学習フレームワークを提案。
- ロドリゲスネットワーク：ロボット動作学習のためのキネマティクス誘導バイアス模倣学習2025/6/1
関節系の運動学構造を反映した帰納バイアスを持つニューラル演算子「Neural Rodrigues Operator」を提案し、それを用いた動作処理特化型ネットワークRodriNetを構築。模倣学習や単眼3Dハンド再構成で有効性を示した。
- 力触覚を感じろ：人間の接触から学ぶ力制御マニピュレーション触覚2025/6/1
触覚グローブと視覚から人間の力加減を学習し、触覚センサ付きロボットアームで力に敏感なマニピュレーションを実現するシステムを提案。
- 物体中心3Dモーションフィールドによる人間動画からのロボット学習VLA2025/6/1
人間の動画から物体中心の3Dモーションフィールドを抽出し、ロボットのゼロショット制御を可能にするフレームワークを提案。ノイズの多い深度から頑健に動きを推定し、多様なタスクで高い成功率を達成。
- 大きく、正則化し、カテゴリカルに：高容量価値関数は効率的なマルチタスク学習者マルチタスク強化学習2025/5/29
高容量な価値モデルをクロスエントロピーで学習し、学習可能なタスク埋め込みで条件付けることで、オンライン強化学習におけるタスク干渉を解決し、マルチタスク学習をスケーラブルにする手法を提案。
- FastTD3：ヒューマノイド制御のためのシンプルで高速かつ高性能な強化学習歩行2025/5/1
並列シミュレーションや大バッチ更新、分布型クリティックなどの改良を加えたTD3エージェントにより、ヒューマノイドロボットの強化学習を単一GPUで3時間未満に高速化した手法を提案。
- 視覚的模倣による文脈依存型ヒューマノイド制御全身制御2025/5/1
日常動画から人間と環境を再構成し、階段昇降や椅子への着座など周囲の状況に応じた全身制御方策をヒューマノイドに学習させるreal-to-sim-to-realパイプラインを提案。
- EgoZero: スマートグラスからのロボット学習模倣学習2025/5/1
スマートグラスで撮影した人間の作業デモのみからロボットのマニピュレーション方策を学習し、実機へゼロショット転移させる手法を提案。
- DexGarmentLab: 巧みな衣類操作のための環境と汎化可能な方策マニピュレーション2025/5/1
両手での巧みな衣類操作に特化した大規模シミュレーション環境DexGarmentLabを構築し、単一の実演から多様な軌道を自動生成する手法と、形状・変形の多様性に汎化する階層的な操作方策HALOを提案した。
- RoboVerse：スケーラブルで汎化可能なロボット学習のための統合プラットフォーム・データセット・ベンチマークsim2real2025/4/1
複数のシミュレータとロボット形態に対応する統合シミュレーション基盤MetaSimと、高品質な合成データセット、模倣学習・強化学習の統一ベンチマークを提供するフレームワークを提案。
- ViTaMIn: ロボット不要の視覚触覚マニピュレーションインターフェースによる接触の多いタスクの学習触覚2025/4/1
視覚と触覚を統合した手持ちグリッパで遠隔操作なしに実演データを収集し、マルチモーダル表現学習で接触の多い操作タスクを効率的に学習する手法を提案。
- OTTER: テキスト認識型視覚特徴抽出を備えた視覚-言語-行動モデルVLA2025/3/1
言語指示に意味的に対応する視覚特徴だけを選択的に抽出して行動予測に用いるVLAアーキテクチャを提案し、事前学習済みの視覚言語モデルを凍結したまま高いゼロショット汎化を実現した。
- RoboCopilot：ロボットマニピュレーションのための人間参加型インタラクティブ模倣学習マニピュレーション2025/3/1
人間と自律方策の間でシームレスに制御を切り替えられる双方向テレオペレーションシステムを提案し、双腕マニピュレーションタスクの効率的な学習を実現した。
- 幾何学的リターゲティング：原理的で超高速なニューラルハンドリターゲティングテレオペレーション2025/3/1
人間の手指キーポイントをロボットハンドに1kHzで変換する超高速・高精度なニューラルリターゲティング手法を提案。教師なし学習と幾何学的目的関数により、手動アノテーション不要でリアルタイムテレオペレーションを実現。
- DexterityGen：前例のない器用さを実現する基盤コントローラマニピュレーション2025/2/1
強化学習で大規模な器用な動作プリミティブを事前学習し、それを基に基盤コントローラを訓練。人間の遠隔操作をプロンプトとして実世界で高度な器用操作を実現する。
- MuJoCo Playground：ロボット学習のためのオープンソースフレームワークsim2real2025/2/1
MJX上に構築された完全オープンソースのロボット学習フレームワークで、単一GPUで数分以内に方策を訓練でき、四足歩行・ヒューマノイド・多指ハンド・ロボットアームなど多様なプラットフォームでゼロショットsim-to-real転移を実現する。
- Video2Policy: インターネット動画を活用したシミュレーションでのマニピュレーションタスクのスケーリングsim2real2025/2/1
インターネット上の人間行動動画からシミュレーションタスクを再構築し、LLM生成報酬による強化学習で汎用方策を訓練、実機転移も実現したフレームワーク。
- 視覚を超えて：言語グラウンディングによる異種センサーでの汎用ロボット方策のファインチューニングVLA2025/1/1
自然言語を共通のクロスモーダル基盤として用い、視覚・触覚・音声などの異種センサー入力を扱えるよう汎用ロボット方策をファインチューニングする手法FuSeを提案。実世界実験で成功率を20%以上向上させた。
- MaxInfoRL：情報利得最大化による強化学習の探索促進強化学習2024/12/1
情報利得を内在的報酬として最大化し、価値関数と状態・報酬・行動のエントロピーを自然にトレードオフする探索フレームワークを提案。連続状態行動空間のオフポリシーRLに適用し、困難な探索問題や視覚制御タスクで性能向上を実現。
- 行動系列を用いた粗から細へのQネットワークによるデータ効率的強化学習強化学習2024/11/1
行動系列を入力としてQ値を予測するクリティックを学習する強化学習手法CQN-ASを提案し、疎な報酬のヒューマノイド制御や卓上操作タスクでデータ効率と性能を向上させた。
- 動画からの手と物体のインタラクション事前学習マニピュレーション2024/9/1
野生の動画から人間の手と物体の3D軌道を抽出し、ロボットの操作スキルを事前学習する手法を提案。生成モデルで汎用的な操作の事前分布を獲得し、下流タスクへの適応を効率化する。
- Body Transformer：ロボット身体性を活用した方策学習VLA2024/8/1
ロボットの身体をセンサとアクチュエータのグラフとして表現し、マスク付きアテンションで情報を集約するBoTを提案。模倣学習・強化学習の方策において、通常のTransformerやMLPより高性能・高効率であることを示した。
- グラフ探索と検索によるオフライン模倣学習模倣学習2024/7/1
劣ったデモンストレーションからロボットの操作スキルを学ぶため、経験をグラフ化して探索し、最適な行動を検索して模倣する手法GSRを提案。
- 確率的フレーム予測による視覚表現学習表現学習2024/6/1
将来フレーム予測の不確実性を確率的にモデル化し、マスク画像モデリングと組み合わせて動画やロボット学習に有効な視覚表現を学習する手法を提案した。
- LLMから行動へ：階層型ロボット制御における橋渡しとしての潜在コードVLA2024/5/1
LLMと低レベル方策の間を学習可能な潜在コードで橋渡しし、言語の制約を超えてエンドツーエンド微調整を可能にする階層型ロボット制御手法を提案。
- オブジェクト合成可能なNeRFによる視覚のSim-to-Realギャップ解消sim2real2024/3/1
実画像から物体を抽出して新しいシーンに合成できるNeRFモデルCOV-NeRFを提案し、写実的な描画と多様な2D/3D教師信号を生成して視覚タスクのsim-to-realギャップを迅速に埋める。
- MOKA: マークベース視覚プロンプティングによるオープンワールドロボットマニピュレーションマニピュレーション2024/3/1
視覚言語モデルに画像上のマークを手がかりに質問応答させ、自由文指示からアフォーダンスを予測してロボットの卓上マニピュレーションを実現する手法を提案。
- HumanoidBench：全身移動とマニピュレーションのためのシミュレーション人型ロボットベンチマーク全身制御/ベンチマーク2024/3/1
器用な手を持つ人型ロボットの全身移動・操作タスクを集めた高次元シミュレーションベンチマークを提案し、既存の強化学習手法の限界と階層型学習の有効性を示した。
- 両手でキャップをひねり開ける：双腕多指ハンドのsim-to-real強化学習sim2real2024/3/1
シミュレーションで深層強化学習を用いて訓練した双腕多指ハンドの制御方策を、物理モデリング・実時間知覚・報酬設計の工夫により実世界へ効率的に転移し、多様な未見のボトルキャップを両手でひねり開ける動的で器用な動作を実現した。
- FMB: 汎化可能なロボット学習のための機能的マニピュレーションベンチマークマニピュレーション2024/1/1
3Dプリント可能な物体を用いて、把持・再配置・組立などの基本スキルとその組み合わせを評価する実世界ロボット学習ベンチマークを提案し、模倣学習フレームワークも提供する。
- 多様で動的かつ堅牢な二足歩行制御のための強化学習歩行2024/1/1
深層強化学習により、歩行・走行・跳躍・立位など多様な二足歩行スキルを実現する汎用制御器を開発し、実機Cassieで高い適応性と堅牢性を示した。
- 任意点軌道モデリングによる方策学習VLA2024/1/1
動画から任意の点の将来軌道を予測するモデルを事前学習し、それを制御ガイダンスとして使うことで、少ない行動ラベルデータで視覚運動方策を学習する手法を提案した。
- 感覚の力：マスク付きマルチモーダル学習による視覚と触覚からの汎化可能なマニピュレーションマニピュレーション2023/11/1
視覚と触覚をマスク付きオートエンコーディングで統合表現として強化学習し、サンプル効率と汎化性能を高める手法M3Lを提案し、挿入・ドア開け・器用な手内操作で有効性を示した。
- DreamSmooth：報酬平滑化によるモデルベース強化学習の改善モデルベース強化学習2023/11/1
モデルベース強化学習において、正確な報酬予測の代わりに時間的に平滑化した報酬を予測することで、長期的なスパース報酬タスクの性能を向上させる手法を提案。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- 言語モデルによる対話的なタスクプランニングタスクプランニング2023/10/1
関数呼び出しで高レベル計画と低レベル技能実行を統合し、事前学習済み視覚モデルでシーンを接地することで、対話的に長期タスクを計画するフレームワークを提案。ミルクティー作成タスクで実世界検証を行った。
- 基盤モデルの事前知識を活用した強化学習：身体性エージェントの効率的な自律学習マニピュレーション2023/10/1
基盤モデルから方策・価値・成功報酬のガイダンスを得るRLFPフレームワークとFACアルゴリズムを提案し、実機とシミュレーションのマニピュレーションタスクで高効率・高成功率を達成した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- GELLO: ロボットマニピュレータ向けの汎用・低コスト・直感的な遠隔操作フレームワーク遠隔操作2023/9/1
対象ロボットアームと同じ運動構造を持つ3Dプリント製の低コスト遠隔操作デバイスを構築し、模倣学習用の高品質なデモ収集を容易にするフレームワークを提案。
- 複雑で未知の物体を高密度に詰め込むための畳み込み占有モデルマニピュレーション2023/8/1
部分観測された3Dシーンから物体形状を補完する全畳み込みモデルF-CONを提案し、実世界のピックアンドプレースで複雑な未知物体の高密度詰め込みを実現した。
- 言語条件付き経路計画経路計画2023/8/1
単一視点画像と言語プロンプトから衝突関数を学習し、接触を許容するか避けるかを言語で指定できる経路計画手法を提案。
- 倉庫自動化における全体最適化の影響群制御2023/8/1
自動倉庫のロボット制御に集中学習・分散実行型のマルチエージェント強化学習を適用し、全体最適化が部分最適化をどれだけ上回るかをシミュレーションで評価した。
- SpawnNet: 事前学習済みネットワークから汎化可能な視覚運動スキルを学習する模倣学習2023/7/1
凍結した事前学習済み視覚バックボーンのボトルネックを解消するため、多層表現を別ネットワークに融合する二流アーキテクチャSpawnNetを提案し、模倣学習におけるカテゴリ汎化性能を向上させた。
- ALP: 行動認識型身体性学習による知覚身体性学習2023/6/1
強化学習方策と逆動力学予測を組み合わせ、3D環境で能動的に探索しながら汎用的な視覚表現を学習する身体性学習フレームワークALPを提案。
- オフラインで訓練し、オンラインでテスト：実機ロボット学習ベンチマークsim2real2023/6/1
共有ロボットハードウェアとオープンソースデータセットを提供し、遠隔からオフライン学習手法を実機で評価できるベンチマークTOTOを提案した。
- 把持を利用した自己教師ありインスタンスセグメンテーションインスタンスセグメンテーション2023/5/1
ロボットの把持前後の画像から把持物体を切り出し、その切り貼りで学習データを自動生成することで、人手アノテーションなしに高精度なインスタンスセグメンテーションを実現した。
- 分布型インスタンスセグメンテーション：潜在コードによる不確実性のモデル化と高信頼予測インスタンスセグメンテーション2023/5/1
潜在コードを用いた分布型インスタンスセグメンテーションで物体マスクの不確実性をモデル化し、信頼度マスクによりロボットピッキングの誤りを削減する手法を提案。
- RoboPianist: 深層強化学習による器用なピアノ演奏マニピュレーション2023/4/1
人間の手を模したロボットハンドが深層強化学習で150曲のピアノ曲を演奏できるようにするシステムとベンチマークを開発した。
- 身体性知能のための人工視覚皮質の探求：現状と展望VLA2023/3/1
身体性AI向けの視覚基盤モデルを17タスクで体系的に評価し、大規模データで学習したVC-1が平均的に優れるが万能ではないことを示し、適応で更なる性能向上を実現した。
- 選好トランスフォーマー：人間の選好をトランスフォーマーでモデル化する強化学習強化学習2023/3/1
人間の選好に基づく強化学習において、非マルコフ的報酬の重み付き和として選好をモデル化するトランスフォーマーアーキテクチャを提案し、実人間の選好を用いた制御タスクで従来法を上回る性能を示した。
- 制御可能性を考慮した教師なしスキル発見強化学習2023/2/1
現在のスキルで達成しにくい状態遷移を優先する距離関数を導入し、複雑で制御が難しいスキルを教師なしで発見する手法CSDを提案。ロボット操作・移動環境で多様な複雑スキルを獲得できることを示した。
- 強化学習による堅牢で多様な二足歩行ロボットのジャンプ制御歩行2023/2/1
強化学習を用いて二足歩行ロボットCassieに多様な動的ジャンプを実現させ、実世界での外乱や着地失敗からの復帰も可能にした。
- マルチビュー・マスク付きワールドモデルによる視覚的ロボットマニピュレーションマニピュレーション2023/2/1
複数視点の映像からマスク付きオートエンコーダで表現を学習し、その表現上でワールドモデルを構築することで、視覚的ロボット操作を効率的に行う手法を提案した論文。
- StereoPose: 背面NOCSを用いたステレオ画像からのカテゴリレベル6D透明物体姿勢推定姿勢推定2022/11/1
透明物体の姿勢推定のため、ステレオ画像から物体サイズ・初期姿勢・姿勢精緻化を分離して推定するフレームワークを提案し、背面NOCSマップと視差注意機構で高精度化を実現した。
- マルチモーダルTransformerによる指示追従エージェントVLA2022/10/1
視覚観測と言語指示をマルチモーダルTransformerで符号化し、Transformerベースのポリシーで行動を自己回帰的に予測する、シンプルながら高性能な指示追従ロボットモデルを提案した。
- マスク付き視覚事前学習による実世界ロボット学習VLA2022/10/1
多様な動画画像に対するMAEベースの自己教師あり視覚事前学習を行い、凍結した表現を制御モジュールに渡すことで、様々な実世界ロボットタスクでCLIPやImageNet事前学習を上回る性能を示した。
- スキルベース強化学習のための内在報酬マッチング強化学習2022/10/1
事前学習したスキル識別器を活用し、内在報酬とタスク報酬をマッチングさせることで、環境サンプルなしに最適なスキルを選択し、サンプル効率よくファインチューニングする手法を提案。
- ファインチューニングとメタ強化学習の有効性比較メタ強化学習2022/6/1
視覚ベースのベンチマークで、メタ強化学習とマルチタスク事前学習＋ファインチューニングを比較し、後者が同等以上に機能することを示した。
- Fleet-DAgger: スケーラブルな人間監督による対話型ロボット群学習群制御2022/6/1
複数のロボットが複数の遠隔人間監督者に対話的に介入を求めながら学習する「対話型群学習」を定式化し、人間の労力対効果(ROHE)指標とFleet-DAggerアルゴリズム群、GPUベンチマークを提案。100台のシミュレーションと4台のYuMiアーム実験で最大8.8倍のROHE改善を示した。
- DayDreamer: 実機ロボット学習のための世界モデルsim2real2022/6/1
Dreamerアルゴリズムを4台の実機ロボットに適用し、シミュレータなしで実世界での直接学習を実現。四足歩行ロボットが1時間で起き上がり・歩行を習得し、外乱にも10分で適応できることを示した。
- 視覚制御のためのマスク付きワールドモデルモデルベース強化学習2022/6/1
視覚表現学習とダイナミクス学習を分離し、マスク付き畳み込み特徴とViTで再構成するオートエンコーダと潜在ダイナミクスモデルを組み合わせた視覚モデルベース強化学習フレームワークを提案。Meta-worldとRLBenchの多様な視覚ロボットタスクで最先端性能を達成。
- ピクセルからの深い階層的計画階層強化学習2022/6/1
学習した世界モデルの潜在空間内で計画を行うことで、ピクセルから直接階層的行動を学習するDirectorを提案し、疎な報酬の3D迷路探索やAtariなどで優れた性能を示した。
- 反復自己学習によるSim-to-Real 6D物体姿勢推定とロボットビンピッキングへの応用sim2real2022/4/1
フォトリアルなシミュレータで初期モデルを学習し、実データへの予測を擬似ラベルとして反復的に自己学習させることで、実環境での6D姿勢推定精度とビンピッキング成功率を向上させた研究。
- 学習パスランキングによる粗から細へのQアテンションマニピュレーション2022/4/1
複数の経路生成手法から得た候補経路を学習でランク付けするLPRを提案し、C2F-ARMに組み込むことでサンプル効率を保ちつつ多様なタスクを実現した。
- 木探索を導入した粗から細へのQ-attentionマニピュレーション2022/4/1
Q-attentionの粗いボクセル化による曖昧さを解消するため、上位k個のボクセルを木構造で展開し価値推定を蓄積するQTEを提案。ARMに組み込み、RLBench12タスクと実世界の小物体タスクで性能向上を示した。
- 敵対的モーションプライアが複雑な報酬関数の代替となる歩行2022/3/1
モーションキャプチャデータから学習したスタイル報酬をタスク報酬と組み合わせ、複雑な手設計報酬なしに実機四足ロボットへ転移可能な自然な歩容を獲得した研究。
- 強化学習における3D回転のためのBingham方策パラメータ化マニピュレーション2022/2/1
3D回転(クォータニオン)を出力する強化学習タスクに対し、ガウス分布ではなくBingham分布で方策をパラメータ化する手法を提案し、回転推定やロボットマニピュレーションで有効性を示した。
- 言語モデルをゼロショットプランナーとして活用：身体性エージェントのための実行可能知識の抽出VLA2022/1/1
大規模言語モデルが追加学習なしに高レベルな自然言語タスクを中間計画に分解できることを示し、既存の実演に基づいて計画を実行可能な行動に変換する手法を提案した論文。
- 反事実的軌跡による強化学習ポリシーの説明解釈性2022/1/1
強化学習エージェントの分布シフト下での振る舞いを、多様な未見状態へ誘導した軌跡で可視化し、人間が検証しやすくする手法を提案した。
- 幾何認識を活用したマルチタスク学習による器用な操作の汎化マニピュレーション2021/11/1
物体の点群表現とマルチタスク学習を組み合わせることで、100以上の多様な実物体を把持内で操作でき、未見の形状やサイズにも汎化する単一の汎用方策を実現した。
- EfficientZero：限られたデータでAtariゲームを攻略するサンプル効率の高いモデルベース強化学習モデルベース強化学習2021/11/1
MuZeroをベースに、少ない環境ステップで人間を超える性能を達成するサンプル効率の高いモデルベース視覚強化学習アルゴリズムEfficientZeroを提案した。Atari 100kベンチマークで平均194.3%の人間性能を達成し、DQNの2億フレーム時の性能に500分の1のデータで匹敵する。
- より汎化可能なワンショット視覚模倣学習に向けて模倣学習2021/10/1
多様な7タスク61バリエーションの視覚ロボット操作ベンチマークを構築し、マルチタスク設定でのワンショット模倣学習の汎化性能を検証。自己注意と時間的コントラスト学習を組み合わせたMOSAICを提案し、新規タスクへの適応性能を向上させた。
- 教師なし強化学習ベンチマークURLB強化学習ベンチマーク2021/10/1
報酬なし事前学習と下流タスク適応の2段階からなる教師なし強化学習の統一ベンチマークURLBを提案し、8手法を比較評価した。
- スキル選好：人間フィードバックからロボットスキルを抽出・実行する学習スキル抽出2021/8/1
人間の選好モデルを学習してオフラインデータから人間の意図に沿ったスキルを抽出し、さらに人間フィードバックを用いた強化学習で複雑な多段階操作タスクを解く手法SkiPを提案した。
- 遊びを通じた視覚表現学習模倣学習2021/7/1
多様な環境での2時間の遊びデータを自己教師あり学習に使い、下流の押し・積みタスクで必要な実演数を半減できる視覚表現を獲得した研究。
- スキル遷移モデルによる階層的少数ショット模倣学習模倣学習2021/7/1
オフラインデータからスキルを抽出し、逆スキルダイナミクスモデルと距離関数を用いて、少数の実演から未見タスクへ汎化する模倣学習手法FISTを提案した。
- バランスリプレイと悲観的Qアンサンブルによるオフラインからオンラインへの強化学習オフライン→オンラインRL2021/7/1
オフライン強化学習で得た方策をオンライン微調整する際の分布シフトによる誤差を、オンライン優先とオフライン近傍サンプルを併用するバランスリプレイと悲観的Qアンサンブルで抑え、歩行・操作タスクでの効率と性能を向上させた論文。
- 制御のための視覚的3Dキーポイントの教師なし学習表現学習2021/6/1
画像から微分可能なエンコーダで3Dキーポイントを教師なし学習し、多視点一貫性と制御タスク目的を同時最適化することで、ロボット関節や物体運動を捉え強化学習ベンチマークで従来手法を上回った。
- 自動調整によるSim-to-Real転送sim2real2021/4/1
実世界のRGB画像のみを用いてシミュレータのシステムパラメータを自動調整し、実世界に近づける検索手法を提案した論文。
- 二足歩行ロボットの堅牢なパラメータ化歩行制御のための強化学習歩行2021/3/1
シミュレーションでドメインランダム化を用いたモデルフリー強化学習により歩行方策を学習し、実機Cassieに転送して速度・高さ・旋回の多様な歩行を従来手法より堅牢に実現した。
- タスク非依存の形態進化形態進化2021/2/1
タスクや報酬の指定なしに、ランダムな行動プリミティブだけで情報理論的な目的関数を用いて多様な状態に到達できる形態を進化させる手法を提案した。
- 対照学習とデータ拡張による効率的な視覚ロボット制御の学習実機強化学習2020/12/1
対照学習による事前学習とデータ拡張を組み合わせ、実機ロボットアームが10個のデモンストレーションから30分程度の訓練でスパース報酬の操作タスクをピクセル入力で学習できる手法CoDERを提案した。
- スキル空間計画によるリセット不要の生涯学習生涯学習2020/12/1
非エピソード的で非定常な環境でも破滅的失敗を避けつつ長期計画できるよう、高次スキルを教師なしで獲得し、学習したダイナミクスモデルでスキル空間上を計画するLiSPを提案した論文。
- 介入から学ぶナビゲーション学習ナビゲーション2020/10/1
人間による安全介入（ディスエンゲージ）を学習信号として活用し、強化学習で屋外歩道を自律走行するナビゲーション手法を提案した論文。
- 敵対的集団を用いたロバスト強化学習ロバスト強化学習2020/8/1
単一の敵対者ではなく敵対者の集団をランダムに初期化して訓練中に一様サンプリングすることで、動力学の変動に対してよりロバストで分布外汎化も改善する方策を得る手法を提案した論文。
- 視覚模倣を手軽に：把持補助具で収集した実演からロボット動作を学習模倣学習2020/8/1
市販のリーチャー・グラバーをデータ収集とロボットのエンドエフェクタの両方に使い、SfMと指検出ネットワークで視覚実演から行動を抽出して、プッシュと積み重ねタスクの模倣学習を実現した論文。
- 展開後の自己教師ありポリシー適応sim2real2020/7/1
報酬なしで展開後も自己教師あり学習によりポリシーを適応させ、未知の環境変化への汎化性能を向上させる手法を提案。
- エンパワーメントによる支援：目標推定に依存しない人間支援の枠組み共有自律/強化学習2020/6/1
人間の目標を推定する代わりに、人間が環境を制御できる能力（エンパワーメント）を強化学習で増大させるタスク非依存の支援手法を提案し、目標の曖昧さに強いことを示した。連続領域での効率的な代理指標も開発し、遠隔操作の共有自律実験で有効性を実証した。
- 価値の不一致を利用した自動カリキュラム学習強化学習2020/6/1
Q関数の認識的不確実性が最大になるゴールを優先的にサンプリングする自動カリキュラムを提案し、多ゴールのロボットタスクとナビゲーションタスクで性能向上を示した論文。
- 自己教師あり世界モデルによる探索計画強化学習/探索2020/5/1
将来の新規性を計画によって先読みして探索する自己教師あり強化学習エージェントを提案し、高次元画像入力の制御タスクで報酬なしでも従来手法を上回りオラクルに迫る性能を示した。
- 形態を越えた転移のための階層的分離模倣模倣学習2020/3/1
低レベル方策を単純な形態のエージェントから模倣させ、KL正則化で高レベル方策を安定学習させることで、複雑な形態のエージェントへの長距離タスクの転移効率を向上させた研究。
- スパースグラフィカルメモリによるロバストな計画計画2020/3/1
状態と遷移をスパースに保持する新データ構造SGMを提案し、双方向一貫性で状態を統合することで長期的な視覚ナビゲーション計画を高精度に実現した。
- 対照学習による変形可能物体の予測表現学習変形物体操作2020/3/1
対照推定を用いて視覚表現とダイナミクスモデルを同時最適化し、ロープや布の操作をモデルベース計画で実現、シミュレーションから実機PR2へ転移した研究。
- BADGR: 自己教師あり学習による自律ナビゲーションシステムナビゲーション2020/2/1
実環境で収集した自己教師ありデータのみで学習し、幾何学的な障害物に惑わされず走行可能な地形を判断して目的地へ向かう移動ロボットナビゲーションシステムを開発した。
- 幻覚的トポロジカルメモリによるゼロショット視覚計画視覚計画2020/2/1
画像空間で直接計画する視覚計画手法を提案し、対照予測符号化による安定したグラフ接続学習と条件付きVAEによる幻覚画像生成で未知領域へのゼロショット計画を実現した。
- 一般化ヒンドサイトによる強化学習の効率的なデータ再利用強化学習2020/2/1
あるタスクで集めた低報酬データを、その行動に適した別タスクへ再ラベリングする近似逆強化学習手法を提案し、マルチタスクのナビゲーションとマニピュレーションでサンプル効率の向上を示した。
- 視覚からエンパワーメントを効率的に推定する潜在表現学習表現学習2019/12/1
視覚観測のみから未知のダイナミクスにおけるエンパワーメントを、サンプリング不要で効率的に計算できる潜在空間の確率的モデルを提案した論文。
- 人間動画のピクセル変換で多段階タスクを学習するAVID模倣学習2019/12/1
人間のデモ動画をCycleGANでロボット映像に変換し、モデルベース強化学習の報酬を自動生成。各段階を自律的にリセットしながら多段階タスクを学習する枠組みを提案。
- 継続的生涯学習のための適応的オンラインプランニング生涯学習2019/12/1
モデルベース計画とモデルフリー学習を組み合わせ、不確実性に応じて必要な時だけ計画を呼び出すことで、環境変化に適応しつつ計算コストを抑えるオンライン生涯学習アルゴリズムを提案した。
- 実演なしで変形物体を操作する学習手法変形物体操作2019/10/1
モデルフリーの視覚強化学習で変形物体操作を実現するため、pick-placeの構造を活かした反復行動空間と、ランダムpick点に対するplace方策からMVPでpickを選ぶ手法を提案し、学習を大幅に高速化、実機PR2へ転移した。
- モデルベース強化学習のための非同期手法モデルベースRL2019/10/1
モデルベース強化学習の計算をデータ収集と並列化する非同期フレームワークを提案し、実ロボットのマニピュレーションタスクで学習時間を短縮しつつサンプル効率も改善できることを示した。
- 計画の足し算：マルチタスク制御のための合成計画ベクトル模倣学習2019/10/1
タスクの軌道をサブタスクの和として表す合成計画ベクトル（CPV）を提案し、追加の教師なしで一発模倣学習から学習して、訓練時より2倍多くのスキルを連続実行するタスクへ汎化できることを示した。
- DoorGym: スケーラブルなドア開け環境とベースラインエージェントsim2real2019/8/1
ドメインランダム化を用いてドア開けタスクの汎化方策を訓練できるオープンソースのシミュレーション環境DoorGymを提案し、PPOとSACのベースライン実装および実世界への転移実験を示した。
- モデルベース強化学習のベンチマークモデルベースRL2019/7/1
多数のモデルベース強化学習アルゴリズムを18以上の専用環境で統一評価し、動力学ボトルネックなどの課題を整理したベンチマークを公開した論文。
- 視覚的計画と行動によるロボットマニピュレーションの学習マニピュレーション2019/5/1
自己教師ありの画像データから物体操作の目標指向計画を生成する生成モデルと、その計画を追従する視覚サーボ制御を学習し、変形可能なロープ操作を含む環境で有効性を示した。
- 低コストで柔軟なロボットマニピュレーションのための準ダイレクトドライブマニピュレーション2019/4/1
低コストで力制御可能な7自由度アーム「Blue」を準ダイレクトドライブ方式で開発し、VRテレオペレーションによる教示データ収集も実現した。
- 連合型メタ方策探索メタ強化学習2019/4/1
各タスクをオフポリシー学習で解き、その解を模倣して単一のメタ学習器に統合することで、メタ強化学習のサンプル効率を大幅に改善する手法を提案した。
- 可変インピーダンス制御と強化学習による高精度ロボット組立マニピュレーション2019/3/1
作業空間の力・トルク情報を強化学習に組み込み、可変インピーダンス制御と組み合わせることで、きつい嵌合の歯車組立を高精度に実現する手法を提案した。
- シミュレーションと実データを統合した深層強化学習による視覚ベース自律飛行の汎化sim2real2019/2/1
シミュレーションの大規模データで汎化可能な知覚を学習し、実世界の1時間のデータで機体ダイナミクスを学習することで、小型ドローンが新しい環境でも衝突回避できる手法を実現した。
- Soft Actor-Critic：最大エントロピー強化学習アルゴリズムとその応用強化学習2018/12/1
最大エントロピーRLに基づくオフポリシー型アクター・クリティック法SACを改良し、温度パラメータの自動調整などを導入してサンプル効率と安定性を向上、四足歩行や巧みな手の操作でも有効性を示した。
- 模倣学習のアルゴリズム的視点模倣学習2018/11/1
ロボットなどの知能エージェントの振る舞いを手動でプログラムする代わりに、教師のデモンストレーションから学習する模倣学習について、前提・手法・関連性・アルゴリズム・実装の助言を体系的に紹介した入門論文。
- 重要状態を通じて適切な信頼を築くヒューマンロボットインタラクション2018/10/1
学習済みロボット方策の理解を助けるため、方策の本質を表す重要状態を人間に提示する手法を提案し、ユーザーが配備判断や介入タイミングをより適切に決定できることを示した。
- 合成可能な行動条件付き予測器：ロボットナビゲーションのための柔軟なオフポリシー学習ナビゲーション2018/10/1
オフポリシーデータからイベント手がかりを学習し、テスト時にそれらを組み合わせて多様なタスクを達成するフレームワークを提案。シミュレーションと実機のRCカーで自律的にデータ収集・学習し、様々なタスクを実行できることを示した。
- 人間の動画1本から複合視覚運動タスクを学習する階層的模倣学習模倣学習2018/10/1
人間がタスクを行う動画1本と他物体でのサブタスク実演データを用い、プリミティブ動作の学習と多段階タスクへの動的組み合わせを実ロボットで実現した。
- 画像入力に強いモデルベース強化学習のための構造化表現学習モデルベースRL2018/8/1
現在の方策データから単純なダイナミクス・コストモデルを推定できる表現を学習し、画像観測下のLQRベースモデルベースRLを実ロボットマニピュレーションで有効化した論文。
- 因果InfoGANによる計画可能な表現の学習表現学習・計画2018/7/1
因果InfoGANを用いて高次元観測から低次元の計画可能な表現を学習し、ロープ操作の視覚的計画を生成する手法を提案した論文。
- 確率的敵対的動画予測動画予測2018/4/1
潜在変数モデルと敵対的学習を組み合わせ、将来の動画フレームをよりリアルかつ多様に予測する手法を提案した論文。
- ロボティクスにおける深層学習の限界と可能性深層学習2018/4/1
ロボット特有の学習・推論・身体性の課題を整理し、評価指標やシミュレーション学習、データ駆動とモデル駆動の融合の重要性を論じた展望論文。
- 汎用プランニングネットワークプランニング2018/4/1
微分可能なプランニングをゴール指向方策に組み込み、潜在空間での勾配降下による軌道最適化を模倣学習で端到端に学習する手法を提案。画像ゴール指定や強化学習の距離報酬、異なる形態のロボット間の転移に有効であることを示した。
- CAD情報を活用したロボット組立の強化学習組立/強化学習2018/3/1
CADデータから得られる幾何学的情報で強化学習を誘導し、接触の多い高精度な組立作業を自律的に学習させる手法を提案した論文。
- モデルベース強化学習による実世界でのオンライン適応学習メタ学習/sim2real2018/3/1
メタ学習で力学モデルの事前分布を訓練し、実世界の脚式小型ロボットが脚の欠損や未知の地形、姿勢推定誤差などにオンラインで素早く適応できることを示した論文。
- ロボットマニピュレーションのための合成可能な深層強化学習マニピュレーション2018/3/1
ソフトQ学習による最大エントロピー方策を実世界のロボット操作に適用し、学習済み方策を合成して新しい方策を効率的に構築できることを示した論文。
- 人間の動画から一発学習：ドメイン適応メタ学習による模倣模倣学習2018/2/1
メタ学習で事前知識を獲得し、人間の1本の動画からロボットが新しい物体の配置・押し・ピック＆プレースを学習できる手法を提案。
- モデルアンサンブル信頼領域方策最適化モデルベースRL2018/2/1
深層モデルベース強化学習で方策がデータ不足領域を悪用して不安定になる問題に対し、モデルアンサンブルで不確実性を考慮し学習を正則化するME-TRPOを提案し、連続制御ベンチマークでモデルフリー手法よりサンプル効率を大幅に改善した。
- ドメインランダム化と生成モデルによるロボット把持マニピュレーション2017/10/1
手続き生成した非現実的な物体を大量に用いて把持計画ネットワークを訓練し、未見の実物体でも高い成功率を達成した研究。
- VRテレオペレーションによる複雑な操作タスクの深層模倣学習模倣学習2017/10/1
民生用VRヘッドセットとハンドトラッキングでロボットを直感的に遠隔操作し、そのデモからピクセル入力→行動出力の深層模倣学習ポリシーを獲得する手法を提案した。
- 画像ベースロボット学習のための非対称アクター・クリティックsim2real2017/10/1
シミュレータ内でクリティックには完全状態、アクターにはRGBD画像のみを与える非対称なアクター・クリティック学習を提案し、ドメインランダム化と組み合わせて実世界データなしで実機へ転移できることを示した。
- ダイナミクスランダム化によるロボット制御のsim2real転移sim2real2017/10/1
シミュレータのダイナミクスを訓練中にランダム化することで、実機でそのまま使える頑健な制御方策を獲得し、ロボットアームの物体押しタスクで実機転移を実証した論文。
- メタ学習によるワンショット視覚模倣学習模倣学習2017/9/1
メタ学習を用いて、ロボットが1回の視覚的なデモンストレーションから新しいスキルを学習できる手法を提案した論文。
- 実演を用いた強化学習における探索問題の克服強化学習2017/9/1
スパース報酬の強化学習に少数の実演データを組み合わせ、ロボットアームの積み木などの長期的タスクを効率的に学習する手法を提案した。
- 汎用計算グラフを用いた自己教師あり深層強化学習によるロボットナビゲーションナビゲーション2017/9/1
モデルフリーとモデルベースの中間を取る汎用計算グラフを提案し、生画像からサンプル効率よくナビゲーションを学習する手法を実現した。実機RCカーで数時間の自己教師あり学習により複雑な屋内環境の走行を達成した。
- 汎化可能なロボット学習のための物体中心表現の深化マニピュレーション2017/8/1
事前学習済み視覚モデルを物体中心の事前知識として活用し、物体レベルの注意機構で少数のデモから関連物体を特定して操作方策を学習する手法を提案した。
- 観察からの模倣：文脈変換による生動画からの行動学習模倣学習2017/7/1
人間の動画をそのまま観察し、視点や環境の違いを文脈変換で補正しながら動画予測と強化学習でロボットの行動を学習する手法を提案した。
- 逆方向カリキュラム生成による強化学習強化学習2017/7/1
目標状態から逆算して徐々に遠い開始状態を自動生成するカリキュラムで、スパース報酬の目標指向タスクを効率的に学習する手法を提案。
- 後知恵経験リプレイによる疎な報酬でのロボット物体操作学習強化学習2017/7/1
失敗した試行も「達成した目標」として報酬を付け直す後知恵経験リプレイを提案し、二値の疎な報酬のみでロボットアームの押す・滑らす・ピック&プレースを学習、実機にも展開できることを示した。
- パラメータ空間ノイズによる探索強化学習2017/6/1
強化学習の探索において、行動空間ではなくエージェントのパラメータにノイズを加える手法を提案し、DQN・DDPG・TRPOで従来の行動空間ノイズや進化戦略より効率的に学習できることを示した。
- 確率的に安全な方策転送安全学習2017/5/1
ロボットアームの学習中に期待損傷を安全制限以下に保ちながら、トルク制限と方策パラメータの更新が安全性に与える影響を予測して最適化する手法を提案した。
- 強化学習エージェントのための自動目標生成強化学習2017/5/1
敵対的訓練で難易度を調整しながら目標状態を生成し、エージェントが多様なタスクを自動的に学習できるカリキュラムを構築する手法を提案した。
- 階層型強化学習のための確率的ニューラルネットワーク階層型強化学習2017/4/1
事前学習環境で多様なスキルを確率的ニューラルネットと情報理論的正則化で獲得し、そのスキル上に高レベル方策を学習することで、疎な報酬や長期タスクの探索を改善するフレームワークを提案した。
- 不変特徴空間の学習による強化学習スキル転送強化学習2017/3/1
形態の異なるエージェント間で強化学習の知識を転送するため、両者が学習したスキルから不変特徴空間を獲得し、他のスキル転送に活用する手法を提案した。
- ドメインランダム化によるシミュレーションから実世界への深層ニューラルネットワークの転移sim2real2017/3/1
シミュレータの描画をランダム化するドメインランダム化により、実画像で事前学習せずともシミュレーションのみで学習した物体検出器が実世界で1.5cm精度を達成し、雑然とした環境での把持に成功した。
- ワンショット模倣学習模倣学習2017/3/1
メタ学習の枠組みで、タスクごとの特徴設計なしに1回のデモンストレーションから新しい状況へ即座に汎化できるロボット模倣学習手法を提案した論文。
- 時間セグメントモデルによる予測と制御モデルベース制御2017/3/1
状態と行動の時間セグメント上の深層生成モデルで複雑な非線形システムのダイナミクスを学習し、長期的な予測とモデルベース方策最適化を実現した。
- 深層特徴とFitted Q-Iterationによるビジュアルサーボの学習ビジュアルサーボ/強化学習2017/3/1
物体分類モデルの深層特徴と双線形予測モデルを組み合わせ、Fitted Q-Iterationでカメラ動作を学習するビジュアルサーボ手法を提案。20軌道程度の少量データで新規ターゲットへ適応できることを示した。
- 自己教師あり学習と模倣を組み合わせた視覚ベースのロープ操作変形物体操作2017/3/1
人間がロープを操作する画像列を入力に、自己教師あり学習で得たピクセル単位の逆動力学モデルと模倣による高レベル計画を組み合わせ、ロープを目標形状へ操作する手法を提案。
- ロボットが自身の目的を人に伝えるための行動設計人間ロボットインタラクション2017/2/1
ロボットが人間の逆強化学習による推論をモデル化し、目的を最も分かりやすく伝える行動を選ぶ手法を提案。自動運転のユーザー研究で有効性を検証した。
- 衝突回避のための不確実性を考慮した強化学習強化学習/衝突回避2017/2/1
衝突確率とその不確実性を推定するモデルベース強化学習により、未知環境では低速で慎重に、自信のある場所では速度を上げて移動する衝突回避を実現した。
- 半教師あり強化学習によるスキルの汎化強化学習2016/12/1
報酬が得られる限定環境と報酬なしの多様な環境を組み合わせ、逆強化学習的にタスク目的を推定して行動を汎化する半教師あり強化学習を提案した論文。
- 深層逆動力学モデル学習によるシミュレーションから実世界への転移sim2real2016/10/1
シミュレーション上の制御方策が示す次状態を実現する実世界の行動を、学習した深層逆動力学モデルで選ぶことで、シミュレーションから実機への転移を図る手法を提案した。
- リセット不要のガイド付き方策探索：確率的初期状態に対応した効率的深層強化学習マニピュレーション2016/10/1
毎エピソードのリセットを必要とせず、ランダムな初期状態でも高次元ニューラルネット方策を効率的に学習できる強化学習手法を提案し、PR2ロボットで実機検証した。
- 物理システムの自律性科学に向けて：その道筋自律システム2016/9/1
家庭清掃や手術など多領域での自律物理システム実現に必要な知覚・操作・知識統合の課題を整理し、従来プログラミングの限界と新たな研究の道筋を示した展望論文。
- テンセグリティロボットの移動のための深層強化学習歩行2016/9/1
鏡像降下誘導方策探索を周期的移動動作に拡張し、テンセグリティロボットSUPERballの転がり歩容を実機・シミュレーションで学習させ、初の連続的で信頼性の高い実機移動を実現した論文。
- マルチタスク・マルチロボット転移のためのモジュール型ニューラルネットワーク方策の学習転移学習2016/9/1
ニューラルネット方策をタスク固有モジュールとロボット固有モジュールに分解し、未学習のロボットとタスクの組み合わせでもゼロショットで汎化できる転移学習手法を提案した。
- 後知恵プランからの学習：エピソード型MPCの改善マニピュレーション2016/9/1
MPCの短い計画ホライズンによる性能低下を、実行後に長いホライズンで生成した後知恵プランに近づくようコスト関数を学習的に再形成することで改善する手法を提案し、実機PR2のペグ挿入など接触の多いマニピュレーションで検証した。
- 突いて学ぶ：直感的物理の経験学習マニピュレーション2016/6/1
ロボットが10万回以上の突き動作を実機で行い、画像から順モデルと逆モデルを同時学習することで直感的物理モデルを獲得し、多段階の意思決定に活用できることを示した。
- 変分情報最大化による探索手法VIME強化学習探索2016/5/1
環境ダイナミクスに関する信念の情報利得を最大化する探索戦略を提案し、ベイズニューラルネットの変分推論で連続状態・行動空間に効率的に適用できるようにした。
- 連続制御のための深層強化学習ベンチマーク強化学習ベンチマーク2016/4/1
連続制御タスクの標準ベンチマークを構築し、複数の強化学習アルゴリズムを体系的に評価した論文。
- 人の実演からソフトロボットハンドの巧みな操作を学習学習 from 実演/ソフトロボティクス2016/3/1
人間が物体を動かす実演を対象中心に記録し、強化学習でソフトハンドが模倣できるよう、実現可能な実演の選択・混合とguided policy searchを拡張した手法を提案した。
- 誘導コスト学習：方策最適化による深層逆最適制御逆強化学習2016/3/1
示範から非線形なコスト関数をニューラルネットで学習する逆最適制御手法を提案し、高次元ロボットのトルク制御で従来法より高効率・高複雑タスクを実現した。
- 深層ガウス過程による逆強化学習逆強化学習2015/12/1
深層ガウス過程で状態特徴の抽象表現を学習し、最大エントロピー枠組みと組み合わせて少ない実演から複雑な報酬を推定する逆強化学習手法を提案した。
- オンライン力学適応とニューラルネット事前分布による操作スキルの一発学習マニピュレーション2015/9/1
過去タスクの経験をニューラルネットの力学モデルとして事前学習し、オンラインで局所線形モデルを逐次再適合させてモデル予測制御を行うことで、複雑なロボット操作タスクを1回の試行で学習する手法を提案した。
- 視覚運動学習のための深層空間オートエンコーダ視覚運動学習2015/9/1
カメラ画像から深層空間オートエンコーダで物体位置などの特徴点を自動抽出し、局所線形モデルに基づく強化学習でロボットの運動スキルを獲得する手法を提案した。
- MPCガイド付き方策探索による自律飛行体の深層制御方策学習飛行制御2015/9/1
MPCで生成した完全状態の訓練データを用いて、機載センサの生観測のみから行動を出力する深層ニューラルネット方策を学習し、状態推定なしで低計算コストに障害物回避を実現した。
- パラメータ化物理モデルと楽観的探索を用いたモデルベース強化学習モデルベース強化学習2015/9/1
ロボットの形態情報から特徴量を設計し最小二乗で動力学モデルを学習、楽観的モデル予測制御で効率的に探索するモデルベース強化学習手法を提案し、振り子や7自由度アームで高速な学習を実証した。
- 連続メモリ状態を持つ深層ニューラルネットワーク方策の学習強化学習2015/7/1
方策が読み書きできる連続値メモリ状態を状態・行動空間に追加し、軌道最適化と教師あり学習を組み合わせたguided policy searchで、部分観測下のロボット操作・ナビゲーションタスクを記憶が必要な方策として学習する手法を提案した。
- 一般化アドバンテージ推定による高次元連続制御強化学習2015/6/1
TD(λ)に似た指数重み付きアドバンテージ推定と信頼領域最適化を組み合わせ、生の運動学から関節トルクを直接出力するニューラルネット方策で二足・四足ロボットの走行や起き上がりを学習させた。
- 視覚運動ポリシーのエンドツーエンド深層学習マニピュレーション2015/4/1
画像から直接モータトルクへのポリシーを深層CNNで学習し、知覚と制御をエンドツーエンドで訓練する手法を提案。実世界のマニピュレーションタスクで有効性を示した。
- 操作研究のベンチマーク：YCB物体・モデルセットと評価プロトコルベンチマーク2015/2/1
ロボット操作研究のベンチマーク用に、多様な形状・素材の日常物体セットとRGBDスキャン・物理特性・幾何モデルを整備し、評価プロトコルの枠組みを提案した論文。
- 誘導方策探索による接触の多いマニピュレーション技能の学習マニピュレーション2015/1/1
時変線形モデルの反復再適合で軌道を学び、単一の汎化可能な制御方策に統合することで、モデルや実演なしに実機で接触の多い操作技能を数分で獲得する手法を提案した。
- ストリーミングデータを用いたサイバーフィジカルシステムの大規模推定：スマートフォントレースによるケーススタディストリーミング処理2012/12/1
ストリーミングデータを秒単位の低遅延で大規模処理するD-StreamsをSpark上に実装し、都市交通量をオンラインEMで推定する手法を提案した。
