Li Fei-Fei
Stanford University
収録論文 103本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 実世界デビュー前の統一試験：コーディングエージェントによるロボット制御ベンチマークベンチマーク/エージェント2026/11/9
コーディングエージェントが多様なロボットを物理制約下で制御できるかを評価するため、47体のロボット・35スイート・1,156タスクからなる統一ベンチマーク「Embodied First Exam」を提案した。
- ToolDex: 創造的な道具使用のための自己中心・外界中心人間デモンストレーションデータセット道具使用データセット2026/11/6
人間が身近な物体を道具として選び・加工し・転用する様子を、自己中心カメラと8台の外界カメラで同期収録した大規模データセットを構築し、道具使用推論・疎視点3D/4D再構成・ロボット方策学習のベンチマークを整備した。
- BEHAVIOR-Spatial：ロボットの空間理解を評価するベンチマークVLA2026/10/25
BEHAVIOR-1K上に構築した空間QA・目標グラウンディング・ロボット行動のベンチマークで、VLMの空間理解がVLA行動にどう結びつくかを調べた。指示変更時の成功率低下や知覚性能と行動の相関を明らかにした。
- SteerAct: 少数試行の時間的ステアリングで行動モデルを解き放つVLA2026/10/19
事前学習済みロボット行動モデルの活性化を、少数の成功・失敗ロールアウトから選んだ特徴量の時間記述子に基づいてオンラインで調整し、重み更新なしでタスク成功率を約10%向上させるフレームワーク。
- 夢見たことを実現：長期的ロボット操作のためのスパース視覚計画視覚計画2026/10/18
動画モデルをスパースな視覚サブゴール計画に接地させる階層型ポリシーDreamCanを提案し、長期的な操作タスクで高い成功率を達成した。
- T2-Z: ロボット世界モデルのためのテスト時環境潜在最適化世界モデル2026/10/15
世界モデルに学習可能な環境潜在を付加し、テスト時に少数の相互作用から潜在を最適化することで未知環境へ適応する手法を提案。
- FACT: 人間からロボットへの巧みな操作のためのマルチモーダル力・行動・トラック基盤モデルマニピュレーション2026/10/13
人間の触覚データセットEgoForceとロボット実演を組み合わせ、視覚計画から力に基づく微調整へと段階的に処理する基盤モデルFACTを提案。道具使用や楽器演奏など10タスクで最大60ポイントの成功率向上を達成。
- I3L: 全身移動マニピュレーションのための反復対話型模倣学習模倣学習2026/10/13
低コストな操作インターフェースと反復的な方策改善を組み合わせ、全身移動マニピュレーションのオフライン学習の失敗を修正するシステムを提案。実機とシミュレーションで成功率を大幅に向上させた。
- RoboRender: ロボット指向の動画生成による視覚的Sim-to-Real転移sim2real2026/10/7
シミュレーションの深度動画・言語指示・ロボットマスクから写実的なRGB動画を生成し、実機へゼロショット転移可能な方策を学習するフレームワーク。
- 潜在行動によるクロスエンボディメント・ロボット基盤ワールドモデルワールドモデル2026/10/7
多様なロボットの身体と行動空間を統一した潜在行動空間で扱うワールドモデルLAC-WMを提案し、未知の身体への適応性能が最大46.7%向上することを示した。
- OpenWAM: 構成可能なWorld-ActionモデルのためのオープンフレームワークVLA2026/10/6
ロボット動画の基盤モデルと構成可能な映像-行動相互作用を組み合わせたオープンなWorld-Actionモデリング枠組みを提案し、LIBEROや実機タスクで高い成功率を達成した。
- T²Mem: ロボティクスのためのテスト時メモリ学習VLA2026/9/29
事前学習済み視覚言語行動ポリシーに、テスト時訓練で観測履歴を圧縮した高速重みとして記憶させ、記憶不要なベース方策を大きく上回る成功率を達成した手法。
- DexAgent: 自己進化するツールライブラリを備えたエージェント型Human2Sim2Robotフレームワークによる巧みな操作マニピュレーション2026/9/28
一人称視点の人間動画とタスク指示から、物理的に妥当なロボット軌道を生成して方策学習を可能にするエージェント型フレームワークを提案。ツールライブラリを自己進化させ、多様な物体や長期的タスクに対応する。
- TrAct: ロボット制御と視覚予測を視覚トラックで橋渡しするVLA/世界モデル2026/8/25
ロボットの行動と画像変化の弱い対応を補うため、視覚トラックを中間表現として用いる世界モデルベースの意思決定フレームワークTrActを提案。シミュレーションと実機で成功率を大幅に向上させた。
- マスク視覚アクションによる統一世界モデリング世界モデル2026/7/1
ロボットの行動をビデオのピクセル空間で表現する新しいインターフェースを導入し、少量のデータで学習したモデルが将来予測や逆モデリングを実現する。
- RoboTTT: ロボットポリシーのためのコンテキストスケーリングVLA2026/7/1
ロボットポリシーの視覚運動コンテキストを8Kタイムステップまで拡張し、推論遅延を増やさずに、人間のビデオからのワンショット模倣や長期的タスクの性能向上を実現する手法を提案。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成sim2real2026/6/1
実世界のビデオからシミュレーション用のシーンを自動生成し、多様なバリエーションを作成してロボットポリシーの訓練と評価を行うシステムを提案。シミュレーションでの評価が実世界性能を強く予測し、訓練時のバリエーション追加が成功率を向上させることを示した。
- ステレオポリシー：ステレオ知覚によるロボット操作ポリシーの改善マニピュレーション2026/5/1
ステレオ画像ペアを直接利用して3次元幾何推論を強化する視覚運動ポリシー学習フレームワークを提案し、シミュレーションと実ロボットの操作タスクで性能を向上させた。
- 視点計画：VLMによる3D空間の能動的推論と計画VLA2026/5/1
VLMがカメラ移動による視点変化を予測し、複数ステップの計画で目標視点を特定できるかを検証し、その能力を高める反復的自己探索と視点グラフ蒸留の枠組みを提案した。
- ESI-Bench：知覚と行動のループを閉じる身体化空間知能のベンチマーク身体化空間知能2026/5/1
受動的な観察ではなく、能動的な探索を通じて空間理解を行う身体化空間知能のベンチマークを提案し、能動的探索が受動的観察より優れていることを示した。
- IMPASTO: モデルベース計画と学習された力学モデルを統合したロボット油絵再現ロボットアート/計画2026/3/1
ロボットが油絵の画像列から筆の軌道や力、色を推論して再現するシステムを提案。学習したピクセル力学モデルとモデル予測制御を統合し、自己対戦のみで学習する。
- 変形物体の移動操作のための粒子動力学の迅速適応変形物体操作2026/3/1
変形物体の未知の動力学を扱うため、シミュレーションで物体の粒子位置などの特権情報から動力学埋め込みを学習し、実ロボットで推論する二段階手法RAPiDを提案した。
- 試行錯誤からの学習：身体性LLMのための内省的テスト時計画VLA2026/2/1
実行前の内省で行動候補を生成・評価し、実行後の内省でモデルと方針を更新する内省的テスト時計画を提案し、長期的な家庭内タスクやロボット実験で性能向上を実証した。
- PointWorld: 実世界ロボット操作のための3D世界モデルのスケーリングマニピュレーション2026/1/1
RGB-D画像とロボットの行動コマンドから3D点群の動きを予測する大規模事前学習済み3D世界モデルを提案し、実機ロボットのモデル予測制御に応用した。
- Dream2Flow: 3Dオブジェクトフローで動画生成とオープンワールド操作をつなぐマニピュレーション2025/12/1
生成動画から3Dオブジェクトの動きを再構成し、それを中間表現として軌道追跡問題に変換することで、実演なしに多様な物体を操作できるフレームワークを提案。
- ENACT: 自己中心的なインタラクションの世界モデリングによる身体性認知の評価身体性認知/ベンチマーク2025/11/1
ロボティクスシミュレーションから生成した自己中心視点の行動と観測の系列並べ替えタスクにより、視覚言語モデルが身体性認知の能力（アフォーダンス認識、行動効果推論など）をどの程度持つかを評価するベンチマークを提案。
- GeT-USE: シミュレーション上の身体拡張を介した双腕移動マニピュレーションのための汎用ツール使用学習sim2real2025/10/1
シミュレーション上でロボットの身体拡張（新しいエンドエフェクタの構築）を探索し、タスクに有効なツール形状の知識を獲得した後、実機の視覚運動ポリシーへ転移することで、利用可能な物体から最適なツールを選んで使う汎用ツール使用を実現した研究。
- MoMaGen: ソフト・ハード制約下で多段階両腕移動マニピュレーションのデモを生成sim2real2025/10/1
移動ベースと両腕の多段階タスク向けに、到達可能性などのハード制約と視認性などのソフト制約を満たすデータ生成を制約付き最適化として定式化し、多様なデモを自動生成する手法を提案。
- UAD: ロボットマニピュレーションの汎化のための教師なしアフォーダンス蒸留マニピュレーション2025/6/1
大規模視覚モデルと視覚言語モデルを組み合わせて、手動アノテーションなしでタスク条件付きアフォーダンスモデルを学習し、ロボット操作の汎化性能を向上させる手法を提案。
- Chain-of-Modality: マルチモーダル人間動画と視覚言語モデルによる操作プログラムの学習VLA2025/4/1
筋電アームバンドやマイクなどで計測した人間の操作動画から、視覚言語モデルがタスク計画と力などの制御パラメータを抽出し、ロボットに操作タスクを実行させる手法を提案した。
- BEHAVIORロボットスイート：日常家事のための実世界全身マニピュレーションを効率化全身マニピュレーション2025/3/1
両腕・車輪・4自由度胴体を備えたロボットで、全身遠隔操作インターフェースと視覚運動ポリシー学習アルゴリズムを統合し、家庭内の全身マニピュレーションタスクを実現するフレームワークを提案。
- VLM生成の反復キーポイント報酬による実機-シミュレーション-実機のロボットマニピュレーションマニピュレーション2025/2/1
VLMが言語指示とRGB-D観測からキーポイント間の関係に基づく報酬関数を生成・反復改善し、実世界シーンをシミュレーションで再構築してRL方策を訓練、実機へ展開する枠組みを提案。
- なぜ自動化するのか？ロボット自動化への欲求、費やす時間、幸福度の相関の探求HRI2025/1/1
BEHAVIOR-1Kと米国時間使用調査のデータを用い、家事タスクの自動化への欲求が所要時間よりも幸福感や痛みといった感情と強く関連することを明らかにし、性別や所得による違いも示した研究。
- ロバストな方策学習のためのデジタルいとこの自動生成sim2real2024/10/1
実世界のシーンを模した「デジタルいとこ」を自動生成し、シミュレーションから実世界へのゼロショット転移で高い成功率を達成する手法を提案。
- ARCap: 拡張現実フィードバックで高品質な人間デモンストレーションを収集するロボット学習システム模倣学習/データ収集2024/10/1
ARによる視覚フィードバックと触覚警告で初心者でもロボット実行可能な高品質デモを収集できる携帯型データ収集システムを提案し、混雑環境での操作や長期的なクロスエンボディメント操作を実現した。
- 身体性エージェントインターフェース：身体的意思決定のためのLLMベンチマークVLA2024/10/1
LLMを用いた身体的意思決定を統一的に評価するための汎用インターフェースを提案し、多様なタスク・モジュール・細粒度エラー指標でLLMの能力を体系的に分析するベンチマークを構築した。
- ReKep: ロボットマニピュレーションのための関係的キーポイント制約の時空間推論マニピュレーション2024/9/1
環境中の3Dキーポイント間の関係をPython関数で表す制約(ReKep)を導入し、大規模視覚モデルと言語モデルを用いて自由形式の指示から自動生成することで、多様なマニピュレーションタスクをリアルタイムに実行する手法を提案。
- TRANSIC: オンライン修正から学ぶSim-to-Realポリシー転移sim2real2024/5/1
人間が実世界でロボットの動作を観察・介入して修正を加え、その修正から残差ポリシーを学習することで、シミュレーションと実世界のギャップを埋めて家具組立などの接触の多いタスクを実現する手法。
- BEHAVIOR-1K：1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- DexCap: 巧みな操作のためのスケーラブルでポータブルなモーションキャプチャデータ収集システムマニピュレーション2024/3/1
SLAMと電磁場を組み合わせたポータブルな手のモーションキャプチャシステムDexCapと、そのデータから直接ロボットの巧みな操作スキルを学習する模倣アルゴリズムDexILを提案した。
- 対話型エージェント基盤モデルVLA2024/2/1
視覚・言語・行動予測を統合したマルチタスク学習により、ロボティクス・ゲームAI・医療の3領域で動作する汎用エージェント基盤モデルを提案した。
- コードの連鎖：言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- スパースニューラルダイナミクスを用いたモデルベース制御モデルベース制御2023/12/1
ニューラルネットワークによる動力学モデルをスパース化し、混合整数計画法で効率的に予測制御するフレームワークを提案。物体押しや変形物体操作などで既存手法を上回る性能を示した。
- NOIR: 脳信号で操作する日常活動支援ロボットBCI/ロボットインターフェース2023/11/1
脳波(EEG)で意図する物体と行動を伝え、ロボットが料理・掃除など20種類の日常家事を実行するブレイン・ロボットインターフェースを開発した。
- Mini-BEHAVIOR: 身体性AIにおける長期的意思決定のための手続き的生成ベンチマーク身体性AIベンチマーク2023/10/1
家庭内タスクを模した高速なGridworld環境で、手続き的生成により多様なタスクを生成し、身体性AIの長期的な意思決定や計画を評価するベンチマークを提案した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- D³Fields: ゼロショットで汎化可能な再配置のための動的3D記述子フィールドマニピュレーション2023/9/1
3D点を入力に意味特徴とインスタンスマスクを出力し、動的な環境変化も捉える暗黙的3D表現を提案し、ゼロショットでの物体再配置タスクで有効性を示した。
- 連続的器用さ：長期的操作のための器用なポリシーの連鎖マニピュレーション2023/9/1
強化学習を用いて複数の器用な手のポリシーを連鎖させ、長期的な操作タスクを実現するシステムを提案。シミュレーションで訓練し、実機へゼロショット転移を達成。
- 人間の評価フィードバックを用いたプリミティブスキルベースのロボット学習マニピュレーション2023/7/1
人間の評価フィードバックとプリミティブスキルベース強化学習を組み合わせ、長期的なロボットマニピュレーションタスクを安全かつ効率的に学習するフレームワークSEEDを提案した。
- VoxPoser: 言語モデルによるロボット操作のための構成可能な3Dバリューマップマニピュレーション2023/7/1
大規模言語モデルと視覚言語モデルを組み合わせ、自由形式の指示から3Dバリューマップを生成してロボットの6自由度軌道をゼロショットで合成する手法を提案。
- 物体の山を操作するための動的解像度モデル学習マニピュレーション2023/6/1
環境を粒子表現で表し、グラフニューラルネットワークで解像度を連続的に選択できる統一的なダイナミクスモデルを学習。テスト時にはMPCの各ステップで最適な解像度を適応的に決定し、粒状物体の山の操作タスクで固定解像度の手法を上回る性能を実現した。
- ObjectFolderベンチマーク：神経オブジェクトと実物体によるマルチセンサリー学習マルチモーダル知覚2023/6/1
視覚・音・触覚を統合した物体中心学習の10タスクベンチマークと、実世界の家庭用品100個のマルチセンサリーデータセットを公開し、各感覚の役割を体系的に評価した。
- Sonicverse：見て聞く家庭内エージェントのためのマルチセンサリ・シミュレーションプラットフォームマルチモーダル/音声視覚ナビゲーション/sim2real2023/6/1
音と視覚を統合したリアルタイム3D音響シミュレータSonicverseを開発し、音声視覚ナビゲーションのマルチタスク学習モデルを提案。シミュレータで訓練したエージェントが実世界環境で音声視覚ナビゲーションを成功させるsim-to-real転移も実証した。
- M-EMBER: 因子分解型ドメイン転移による長期的モバイルマニピュレーションへの挑戦モバイルマニピュレーション2023/5/1
長期的なモバイルマニピュレーションを複数の視覚スキルに分解し、各スキルを強化学習で訓練して組み合わせることで、キッチン掃除タスクを53%の成功率で達成した。
- MimicPlay：人間の遊びデータを活用した長期ホライズン模倣学習模倣学習2023/2/1
人間の自由な手遊び動画から潜在的な行動計画を学習し、少数の遠隔操作デモと組み合わせることで、ロボットの長期的なマニピュレーションタスクの模倣学習を効率化する階層的フレームワークを提案。
- 見て、聞いて、感じる：ロボットマニピュレーションのためのスマートセンサリーフュージョンマニピュレーション2022/12/1
視覚・聴覚・触覚を自己注意モデルで融合し、密詰めや注ぎといった複雑なマニピュレーションタスクを高精度に実現するロボットシステムを構築した。
- 能動的タスクランダム化：多様で実行可能なタスクの教師なし生成によるロバストスキルの学習マニピュレーション2022/11/1
タスクの多様性と実行可能性のバランスを取りながら教師なしで訓練タスクを生成し、ロバストな操作スキルを学習する手法を提案。
- VIMA: マルチモーダルプロンプトによる汎用ロボットマニピュレーションマニピュレーション2022/10/1
テキストと画像を組み合わせたマルチモーダルプロンプトで多様なロボット操作タスクを指示し、自己回帰的に動作を生成するTransformerエージェントVIMAを提案。新ベンチマークで高いゼロショット汎化性能とデータ効率を示した。
- MaskViT: マスク視覚モデリングによる動画予測の事前学習動画予測2022/6/1
マスク視覚モデリングでTransformerを事前学習し、空間・時空間ウィンドウ注意と可変マスク率で高解像度動画予測を実現、実ロボット計画にも応用した。
- Habitat 2.0におけるBEHAVIOR：身体性AIエージェントのベンチマークのためのシミュレータ非依存な論理タスク記述身体性AIベンチマーク2022/6/1
家庭内タスクを論理空間で記述するBEHAVIORの一部を高速シミュレータHabitat 2.0に移植し、異なるシミュレータ間でタスク定義を再利用できることを示した。
- 表現の事前学習による汎化可能なタスクプランニングタスクプランニング2022/5/1
合成シーン理解データセットから物体レベルの表現を抽出し、未知の物体にも汎化できる多段階マニピュレーションのプランニング手法を提案した論文。
- ObjectFolder 2.0：Sim2Real転送のためのマルチセンサリ物体データセットsim2real2022/4/1
視覚・音響・触覚のマルチセンサリデータを持つ大規模物体データセットを構築し、仮想物体で学習したモデルが実世界の物体スケール推定・接触位置推定・形状復元に転送できることを示した。
- MetaMorph：Transformerで学ぶ万能コントローラロボット制御/Transformer2022/3/1
モジュール式ロボットの形状をTransformerへの入力条件として扱い、多様な形状で大規模事前学習することで未知の形状にもゼロショットで適応できる万能コントローラを実現した研究。
- テレオペデータからの誤り検知を備えた移動マニピュレーションの模倣学習移動マニピュレーション2021/12/1
移動マニピュレーション向けに同時操作可能なテレオペレーションフレームワークMoMaRTを提案し大規模データセットを収集、失敗状態を検知する誤り検出器を組み合わせた模倣学習で多段タスクの成功率を向上させた。
- 長期的視覚運動タスクを解くための例示駆動型モデルベース強化学習モデルベースRL2021/9/1
学習したモデル・批評家・成功分類器を用いて原始スキルを獲得し、記号プランナと組み合わせて長期的視覚運動タスクを遂行するモデルベースRL手法EMBERを提案した。
- ObjectFolder: 視覚・聴覚・触覚の暗黙表現を備えた物体データセットマルチモーダル知覚2021/9/1
100個の仮想物体について視覚・聴覚・触覚の感覚データを物体中心の暗黙表現で収録したデータセットを構築し、マルチモーダル認識やロボット把持などのベンチマークで有用性を示した。
- iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境sim2real2021/8/1
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
- Co-GAIL: 人間とロボットの協調のための多様な戦略の学習人間ロボット協調2021/8/1
人間同士の協調デモから、相手の潜在戦略を推定しつつ多様な人間行動に対応するロボット協調方策を学習する手法を提案し、2Dゲーム・受け渡し・多段階操作タスクで有効性を示した。
- オフライン人間デモンストレーションからのロボットマニピュレーション学習で重要なこと模倣学習2021/8/1
6つのオフライン学習アルゴリズムを5つのシミュレーションと3つの実世界の多段階マニピュレーションタスクで比較し、人間デモデータから学ぶ際の課題と教訓を明らかにした研究。
- BEHAVIOR：仮想環境における日常家事タスクのベンチマークベンチマーク2021/8/1
掃除や料理など100種類の家事タスクをシミュレーション上で再現し、多様な初期・目標条件の生成、評価指標、VRによる人間の実演データを備えた embodied AI 向けベンチマークを提案した。
- 多様なタスクの自動生成による汎化可能スキルの発見スキル学習2021/6/1
訓練可能なタスク生成器で多様なタスクを自動生成し、各スキルを固有タスクに特化させつつタスク多様性を最大化することで、汎化可能なロボットスキルを獲得する手法SLIDEを提案。
- SECANT: 視覚ポリシーのゼロショット汎化のための自己エキスパートクローニング視覚RL/汎化2021/6/1
弱い画像拡張でRLによりエキスパートを訓練し、強い拡張で生徒ネットワークが模倣学習することで、未知の視覚環境へのゼロショット汎化を実現した手法。
- 大規模動画予測のための貪欲階層型変分オートエンコーダ動画予測2021/3/1
階層型オートエンコーダの各層を貪欲に学習させることで、GPUメモリ制約と最適化困難を同時に解決し、大規模多様データでの動画予測性能と実ロボットタスク成功率を向上させた研究。
- 手と目の協調による汎化：空間不変な視覚運動制御を学習するための行動空間模倣学習2021/3/1
人間の手と目の協調を模した学習可能な行動空間HANを提案し、模倣学習ポリシーが新しいシーン配置にゼロショットで汎化できることを多段階操作タスクで示した。
- 学習と進化による身体性知能進化ロボティクス2021/2/1
多様な形態のエージェントを進化させ強化学習で移動・操作タスクを学ばせるDERLフレームワークを提案し、環境複雑性が形態的知能と学習速度の進化を促すことを示した。
- 協調テレオペレーションによる多腕マニピュレーションの学習マニピュレーション2020/12/1
複数ユーザが遠隔から同時に複数のロボットアームを操作して実演を収集するプラットフォームMARTを構築し、多腕タスクの模倣学習における集中化の課題を分析した研究。
- iGibson 1.0：大規模リアルシーンでのインタラクティブタスク向けシミュレーション環境シミュレーション環境2020/12/1
実世界の家庭を再現した15のインタラクティブなシーンと多様なセンサ信号・ドメインランダム化・動作計画・人間デモ収集機能を備えたロボット学習用シミュレータを公開した論文。
- 遠隔操作による人間介入型模倣学習模倣学習2020/12/1
6自由度マニピュレーション向けに、人間が遠隔から訓練済み方策を監視・介入できるデータ収集システムと、介入データで方策を反復学習するアルゴリズムを提案した論文。
- 深層アフォーダンス先読み：将来可能な行動を通じた計画立案マニピュレーション2020/11/1
将来のアフォーダンスをモデル化することで長期的な行動効果を推論し、多段階の操作タスクを学習・計画する手法を提案した論文。
- 難探索問題のための適応的プロシージャルタスク生成強化学習・カリキュラム2020/7/1
強化学習のカリキュラムとしてタスクを段階的に生成するAPT-Genを提案し、エージェントの成績と目標タスクとの類似度を両立させる敵対的学習で難探索問題の性能を向上させた。
- 人間のデモンストレーションから長期的タスクへの汎化を学ぶ模倣学習2020/3/1
複数の人間デモの軌道が状態空間で交差する構造を利用し、未見の開始・目標状態の組み合わせに汎化する目標指向方策を2段階のオフライン模倣学習で訓練する手法GTIを提案し、実世界の長期的マニピュレーションで検証した。
- 動作推論による目標ベース模倣学習模倣学習2019/11/1
第三者視点の動画から記号的な目標を推定するため、タスク・動作計画を組み合わせて実演者の真の意図を曖昧性除去する動作推論フレームワークを提案し、実キッチンで再現可能なことを示した。
- RoboTurkで数百時間規模のロボット教師データ収集を実現テレオペレーション2019/11/1
遠隔テレオペレーション基盤RoboTurkを拡張し、1週間で54人・3タスク・111時間超のロボットマニピュレーションデータを収集、その品質と多様性を評価した論文。
- IRIS: 大規模オフライン実演データから制御を学ぶ暗黙的強化学習フレームワークオフライン強化学習2019/11/1
大規模なロボット操作の実演データから、低レベル模倣コントローラと高レベル目標選択を分離して学習するIRISを提案し、完全オフライン学習で高性能な方策を得られることを示した。
- 対話型ナビゲーションのためのiGibsonベンチマークナビゲーション2019/10/1
物体との物理的インタラクションを許容する対話型ナビゲーションの初の総合ベンチマークを提案し、高忠実度な屋内シーンシミュレータと評価指標を公開した。
- カスケード変分推論による多段階マニピュレーションのダイナミクス学習マニピュレーション2019/10/1
高次効果の予測と低次動作の生成を分離するカスケード変分推論で潜在表現を学習し、2つの時間解像度で階層的に計画するモデルベース手法を提案した。
- 6-PACK: アンカーベースキーポイントによるカテゴリレベル6D姿勢トラッカー6D姿勢推定2019/10/1
RGB-Dデータ上で未知の物体インスタンスの6D姿勢をリアルタイム追跡するため、少数の3Dキーポイントを教師なしで学習し、キーポイントマッチングでフレーム間の動きを推定する手法を提案した。
- KETO: 道具操作のためのキーポイント表現学習マニピュレーション2019/10/1
道具を使った操作タスクにおいて、3D点群からタスク固有のキーポイントを自己教師あり学習で予測し、把持と操作を効率化するフレームワークを提案した。
- SURREAL-System：分散深層強化学習のための完全統合スタック分散強化学習2019/9/1
ハードウェア抽象化からアルゴリズムまで4層で構成され、ラップトップからクラウドまでスケール可能な分散強化学習フレームワークを提案し、PPOやESを数千コア・数百GPUに拡張してGymとRoboticsで最先端性能を達成した。
- 回帰計画ネットワーク：高次元観測からの長期シンボリック計画学習計画学習2019/9/1
古典的な回帰（後向き）計画の考え方をニューラルネットに取り入れ、目標から現在の観測へ逆向きに中間目標列を生成することで、高次元視覚入力から長期タスクの計画を直接学習する手法を提案した。
- DualSMC: 連続POMDPにおける微分可能なフィルタリングと計画のトンネリングPOMDP/計画2019/9/1
連続POMDPのフィルタリングと計画を2つの関連する逐次モンテカルロ過程として定式化し、敵対的粒子フィルタと不確実性依存の計画を組み合わせたDualSMCネットワークを提案した。
- 記号プランナの連続緩和によるワンショット模倣学習模倣学習2019/8/1
ワンショット模倣学習を記号計画と記号接地の問題として定式化し、記号接地モデルの確率的出力上で直接計画する連続緩和プランナを提案した論文。
- 視覚と触覚を統合したマルチモーダル表現学習による接触の多い操作タスクマルチモーダル表現学習2019/7/1
自己教師あり学習で視覚と触覚のコンパクトなマルチモーダル表現を獲得し、ペグ挿入タスクにおける強化学習のサンプル効率と汎化性能を向上させた研究。
- 長期的タスクに取り組む身体性エージェントのためのシーン記憶トランスフォーマーナビゲーション2019/3/1
観測を記憶に蓄積しアテンションで時空間依存性を活用する記憶ベース方策SMTを提案し、視覚ナビゲーションタスクで既存手法を大きく上回る性能を示した。
- DenseFusion：反復的な密融合による6D物体姿勢推定6D姿勢推定2019/1/1
RGB-D画像から既知物体の6D姿勢を推定するため、RGBと深度を個別に処理してピクセル単位の密な特徴を融合するネットワークと反復的な姿勢精緻化を組み合わせた手法を提案し、YCB-VideoとLineMODで最先端性能を達成、実機ロボットでの把持にも応用した。
- RoboTurk：模倣によるロボット技能学習のためのクラウドソーシング基盤模倣学習2018/11/1
スマホなどの一般モバイル端末で6自由度の遠隔操作を可能にし、クラウドソーシングで大規模な操作デモを収集するプラットフォームを構築した。VRコントローラ並みの操作性と劣悪なネットワーク下での頑健性を示し、2200件超のデモを収集して疎報酬の多段階操作タスクの政策学習に有効であることを実証した。
- 視覚と触覚を統合する自己教師ありマルチモーダル表現学習による接触の多い操作マルチモーダル/触覚2018/10/1
視覚と触覚の入力を自己教師あり学習でコンパクトなマルチモーダル表現にまとめ、強化学習のサンプル効率を高めてペグ挿入タスクを実機でも安定してこなせるようにした研究。
- ニューラルタスクグラフ：単一動画デモから未見タスクへ汎化する方策学習模倣学習2018/7/1
単一の動画デモから未見タスクを遂行する方策を生成するため、タスクの合成構造を中間表現として組み込むNeural Task Graphを提案し、ブロック積み上げや物体収集タスクで汎化性能を示した。
- シミュレーション自己教師あり学習による道具操作用のタスク指向把持の学習マニピュレーション2018/6/1
道具を使ったタスクのために、把持と操作方策を同時に最適化するTOG-Netを提案し、大規模シミュレーション自己教師あり学習で訓練して、掃き掃除とハンマー打ちで実機検証した論文。
- ニューラル・タスク・プログラミング：階層的タスクへの汎化を学ぶ模倣学習2017/10/1
タスクの映像デモを入力に、階層的にサブタスクへ再帰分解し、下位プログラムを呼び出すニューラルプログラムでロボット操作を学習する枠組みを提案。未見の長さ・構造・目的のタスクへ汎化できることを示した。
- 確率的動力学系におけるゼロショット適応ポリシー転送sim2real2017/7/1
シミュレータで学習したRLポリシーを、オンラインのチューブ型MPCと組み合わせることで、動力学誤差のある未知環境へ安全かつゼロショットで転送するADAPTを提案した。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
