Deepak Pathak
Carnegie Mellon University
収録論文 80本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステムモバイルマニピュレーション2026/11/2
低コスト車輪型ヒューマノイド、遠隔操作と人間データ収集、全身制御、方策学習を一体設計し、言語条件付き視覚運動制御と長期タスク実行を実現したフルスタックシステムを提案。
- Pixel-UMI：センサ付き人間デモンストレーションから環境認識型全身マニピュレーションを学習する全身マニピュレーション2026/11/2
人間のセンサ付きデモから環境を考慮した全身マニピュレーションポリシーを学習するパイプラインを提案し、リターゲティング誤差を考慮したマスキングとDAggerによる修正で5タスク平均87%の進捗を達成した。
- COWBOY: 文脈的全身体マニピュレーションを学習するスケーラブルなsim-to-realフレームワークsim2real2026/10/20
環境認識型の全身体コントローラと局所RL専門家を組み合わせ、点群から移動ベース・アーム・巧みな手・カメラを制御する単一の視覚ポリシーに蒸留し、実世界の多様なシーンでゼロショット把持を実現した。
- ParticleSplat: 自己教師ありオブジェクト中心潜在粒子スプラッティング3D表現学習2026/9/16
複数視点の画像から3Dガウシアンスプラッティングを用いてシーンを物体ごとの潜在粒子に分解し、教師なしで物体マスクを獲得しロボット操作タスクの性能を向上させる手法を提案。
- BRIDGE: 形態と制御の共設計による物理AIのためのオープンソース人型ロボットプラットフォーム人型ロボット/共設計2026/9/3
人間の動作データを活用できる人型ロボットの設計を、形態と全身制御をデータ駆動で共最適化するフレームワークを提案し、その設計を実現したオープンソースの小型人型ロボット「Bridge」を公開した。
- FACTR 2: コモディティロボットアームの外力センシング学習がポリシー学習を向上させる力覚推定/模倣学習2026/6/1
専用の力センサーを持たないロボットアームでも、データ駆動で外力トルクを推定するNEXTと、接触前後のデータを重点的に学習するFIRSTを組み合わせることで、力覚を活用した遠隔操作とポリシー学習を可能にした論文。
- 3D-DLP: 自己教師あり3Dオブジェクト中心シーン表現学習表現学習2026/6/1
RGB-Dやボクセル観測を3D潜在粒子に分解し、解釈可能で制御可能なオブジェクト中心表現を自己教師ありで学習するモデルを提案。ロボット操作タスクでの性能向上も確認。
- FlowDPG: フローマッチングポリシーに対する決定論的ポリシー勾配の実世界操作への応用強化学習/操作2026/6/1
フローマッチングポリシーにDDPGスタイルの強化学習を適用する際、時間方向の逆伝播(BPTT)を回避する蒸留フレームワークを提案し、実世界の長期的な両腕組み立てタスクで92%の成功率を達成した。
- 物理シミュレータ上での強化学習による物理オリンピック問題解決物理推論/LLM/強化学習2026/4/1
物理シミュレータでランダムなシーンを生成し、合成の問答データを作ってLLMを強化学習で訓練し、実世界の物理ベンチマーク（IPhOなど）へのゼロショット転移を実証した論文。
- 潜在粒子世界モデル：自己教師ありのオブジェクト中心確率動的モデリング世界モデル2026/3/4
ビデオデータから教師なしでキーポイントやオブジェクトマスクを発見し、確率的な粒子動力学を学習する世界モデルを提案。実世界のマルチオブジェクトデータセットで最先端の性能を達成し、意思決定タスクにも応用可能。
- 反復的な自己修正による構成的画像生成の改善画像生成2026/1/1
視覚言語モデルを批評役として用い、テキスト画像生成モデルが複数ステップで生成を反復的に洗練させる手法を提案し、構成的なプロンプトでの生成精度を向上させた。
- IFG: インターネット規模の知識を活用した機能的な把持生成マニピュレーション2025/11/1
大規模視覚モデルの意味理解とシミュレーションによる力学的把持生成を組み合わせ、人手データなしで高精度なロボット把持を実現した研究。
- ViPRA: 動画予測によるロボット行動生成VLA2025/11/1
ラベルなし動画から将来の視覚観測と潜在行動を予測するモデルを事前学習し、少数の実演で連続ロボット制御を微調整するフレームワークを提案。
- マイクロロボット向け高トルク密度PCBアキシャルフラックス永久磁石モータアクチュエータ2025/9/1
IC基板HDI技術で作製した48層PCB巻線により、直径19mm・厚さ5mmで銅充填率45%を達成したマイクロアキシャルフラックスモータを開発し、電磁・熱解析と試作機で性能を検証した。
- 動的環境における反応的マニピュレータ動作計画のための深層反応ポリシーマニピュレーション2025/9/1
点群入力を直接用いて動的・部分観測環境で衝突回避動作を生成する視覚運動ニューラルポリシーDRPを提案し、シミュレーションと実機で従来手法を上回る成功率を示した。
- LocoFormer：長文脈適応による汎用歩行制御歩行2025/9/1
大規模強化学習と長い文脈長を組み合わせ、未知の脚式・車輪式ロボットを制御できる汎用歩行モデルを実現した。
- データ制約下では拡散モデルが自己回帰モデルを上回る拡散言語モデル2025/7/1
データが乏しく計算資源が豊富な状況でマスク付き拡散言語モデルを系統的に検証し、自己回帰モデルより優れることとその理由（ランダムマスクによる暗黙のデータ拡張）を明らかにした。
- DexWild: 日常環境での人間の手による器用な操作データ収集とロボット方策学習マニピュレーション2025/5/1
低コストなウェアラブルデバイスで人間の手の操作データを収集し、人間とロボットのデモを共訓練することで、未知環境や異なる身体でも汎化する器用な操作方策を実現した。
- 統合マルチモーダル離散拡散モデルマルチモーダル生成2025/3/1
テキストと画像を統一的に理解・生成できる離散拡散モデルUniDiscを提案し、自己回帰型モデルより高性能かつ制御性・編集性・インペインティングに優れることを示した。
- 進化的方策最適化強化学習2025/3/1
進化的アルゴリズムのスケーラビリティと方策勾配の安定性を組み合わせたハイブリッド強化学習手法EPOを提案し、巧みな操作や歩行タスクで性能を向上させた。
- FACTR: 接触の多いタスクのための力覚に注目させるカリキュラム学習マニピュレーション2025/2/1
力覚フィードバックを双方向テレオペで収集し、視覚入力を徐々に劣化させるカリキュラムで力覚に注目させる方策学習手法を提案。未見物体への汎化性能を43%向上させた。
- 複雑タスクのための両手巧み操作システムBidexテレオペレーション2024/11/1
モーションキャプチャグローブとティーチャーアームを用いた低コスト・低遅延の両手巧みテレオペレーションシステムBidexを開発し、複雑タスクで高品質なデータを高速に収集できることを示した。
- 局所ポリシーによるゼロショット長期的マニピュレーションsim2real2024/10/1
ロボットの絶対姿勢や物体配置に依存しない「局所ポリシー」を基盤モデルと組み合わせ、シミュレーションから実機へのゼロショット転移で最大8段階の長期タスクを実現した。
- Neural MP: 汎用ニューラル動作計画器動作計画2024/9/1
シミュレーションで大量の複雑シーンと専門家データを生成し、反応的な汎用方策へ蒸留して軽量最適化と組み合わせることで、実世界の動作計画を高速かつ高成功率で実現した。
- 自律的な実世界強化学習による移動マニピュレーションの継続的改善移動マニピュレーション2024/9/1
人間の監督や大規模な計測装置なしに、実世界で移動マニピュレーション方策を継続的に学習・改善する強化学習フレームワークを提案し、Spotロボットで4つの難タスク平均80%の成功率を達成した。
- SAPG：分割統合方策勾配法強化学習2024/7/1
大規模並列環境を分割して重要度サンプリングで統合する新しいオンポリシー強化学習アルゴリズムSAPGを提案し、PPOを上回る性能を実現した。
- 報酬勾配による動画拡散モデルのアラインメント動画生成2024/7/1
事前学習済み報酬モデルから動画拡散モデルへ勾配を逆伝播させ、少ない計算量とサンプルで下流タスクに適応させる手法を提案。
- SPIN: 知覚・インタラクション・ナビゲーションの同時実行移動マニピュレーション2024/5/1
移動マニピュレータが能動的な視覚システムを用いて、移動しながら知覚し環境と相互作用する反応型フレームワークを提案。
- Meta-Evolve: 連続的ロボット進化による1対多ポリシー転移sim2real2024/5/1
木構造のロボット進化系列を通じて、1つの熟練ポリシーを複数の異なるロボットへ効率的に転移する手法を提案し、マニピュレーションと歩行タスクで大幅な効率改善を実証した。
- オープンワールドにおける関節物体の適応的モバイルマニピュレーションマニピュレーション2024/1/1
実世界のドアやキャビネットなどの関節物体を操作するため、行動クローニングとオンライン学習を組み合わせた適応学習フレームワークと低コストなモバイルマニピュレーションシステムを開発し、成功率を50%から95%に向上させた。
- PlayFusion: 言語注釈付きプレイデータからの拡散モデルによるスキル獲得VLA2023/12/1
言語ラベル付きの非構造的なプレイデータから、拡散モデルを用いて多様なロボットスキルを抽出し、離散ボトルネックでスキル語彙を獲得する手法を提案。
- 巧みな機能把持マニピュレーション2023/12/1
人間のデータから物体の機能的な把持部位を推定し、シミュレーションで訓練した低レベル方策と固有把持（eigengrasp）を組み合わせて、実世界の多様な物体を把持する手法を提案した。
- Diffusion-TTA: 生成フィードバックによる識別モデルのテスト時適応テスト時適応2023/11/1
拡散モデルの生成フィードバックを利用して、画像分類器やセグメンタ、深度予測器などの識別モデルをテスト時に各未ラベル例へ適応させる手法を提案。
- DEFT: 実世界のハンドポリシーに対する巧みなファインチューニングマニピュレーション2023/10/1
人間の操作を事前知識として活用し、オンライン最適化でソフトロボットハンドの巧みな操作を効率的に学習する手法を提案。
- 報酬逆伝播によるテキスト画像拡散モデルの整合拡散モデル2023/10/1
拡散モデルを下流の報酬関数に合わせるため、ノイズ除去過程を通じて報酬勾配を逆伝播するAlignPropを提案。低ランクアダプタと勾配チェックポイントでメモリを抑え、少ない学習ステップで高い報酬を達成。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 環境とエージェントの表現を分離した効率的強化学習強化学習2023/9/1
エージェント自身の形状やマスク情報を補助損失として活用し、環境とエージェントの表現を分離して学習することで、視覚ベースの強化学習を効率化する手法を提案した。
- 脚式ロボットによるエクストリームパルクール歩行2023/9/1
低精度な単眼深度カメラと安価な小型ロボットで、シミュレーション上の大規模強化学習により、カメラ画像から直接エンドツーエンドで高精度なパルクール動作を実現した。
- LEAP Hand：ロボット学習のための低コストで効率的な人間型ハンドマニピュレーション2023/9/1
機械学習研究向けに、2000ドルで4時間で組み立て可能な低コストで高い器用さを持つ人間型ロボットハンドを開発し、実世界での操作タスクやsim2real学習で既存の高価なハンドを上回る性能を示した。
- 人間の動画から構築する構造化ワールドモデルマニピュレーション2023/8/1
人間の動画から視覚的アフォーダンスに基づく行動空間とワールドモデルを学習し、少数のロボット実機データで微調整することで、30分以内に多様なマニピュレーション技能を獲得する手法を提案。
- 対話を通じた人間型ソフトハンドの設計マニピュレーション2023/6/1
3Dプリントと遠隔操作を活用し、16自由度の人間型ソフトハンドを5回の設計反復で改良。30の実世界操作タスク中19を達成し、剛体ハンドのAllegro（7タスク）を上回った。
- 人間の動画から抽出するロボットのためのアフォーダンス表現VLA2023/4/1
インターネット上の人間の行動動画から視覚的アフォーダンスモデルを学習し、ロボットが複雑なタスクを実行できる汎用的な表現として活用する手法を提案。
- 拡散モデルは実はゼロショット分類器である生成モデル2023/3/1
大規模テキスト画像拡散モデルの密度推定を利用し、追加学習なしでゼロショット分類を行うDiffusion Classifierを提案した。
- 脚をマニピュレータとして：四足歩行の敏捷性を移動を超えて押し進めるマニピュレーション2023/3/1
四足ロボットの前脚をマニピュレータとして使い、壁登りやボタン押し、物体操作を実現するスキル学習とsim2real転移、行動ツリーによる長期計画を提案した。
- インターネットエクスプローラー：オープンウェブ上でのターゲット表現学習表現学習2023/2/1
静的な大規模データセットに頼らず、インターネットを自律的に探索して目的のタスクに有用な画像を収集し、小規模モデルを効率的に訓練する手法を提案。
- ALAN: 実世界で自律的に探索するロボットエージェント自律探索2023/2/1
環境変化を指標に不確実性を最大化することで、実世界のキッチン環境でロボットが自律的に探索し、目標画像で指定された操作スキルを効率的に学習する手法を提案。
- HERD：人間からロボットへの連続進化による模倣学習sim2real2022/12/1
人間の五指ロボットを徐々に商用ロボットへと進化させながら強化学習を行うことで、人間の実演から操作スキルを転移させる手法を提案した。
- VideoDex: インターネット動画から器用さを学ぶマニピュレーション2022/12/1
人間の手の動画から視覚・行動・物理の事前知識を抽出し、ロボットアームと多指ハンドのマニピュレーションを向上させる学習手法を提案。
- 自己中心視覚を用いた難地形での脚式移動歩行2022/11/1
単眼の深度カメラだけを使い、階段や飛び石、溝などの難所を四足ロボットが踏破できるエンドツーエンドの移動方策をシミュレーションで学習し、実機に転移させた。
- 全身制御の深層学習：マニピュレーションと移動を統合したポリシー学習全身制御2022/10/1
脚式ロボットの腕と脚を別々に制御せず、強化学習で全身を統合したポリシーを学習し、低コストな脚式マニピュレータで動的で敏捷な動作を実現した。
- 非対照シームズ表現学習における崩壊の理解自己教師あり学習2022/9/1
SimSiamなどの非対照自己教師あり学習がデータセットとモデルサイズに敏感で、次元崩壊を起こすことを示し、崩壊度を測る指標と連続学習による崩壊防止法を提案した。
- 実環境における人間からロボットへの模倣学習模倣学習2022/7/1
一人称視点の人間動画からロボットがワンショットで模倣学習できる手法WHIRLを提案し、実環境での20種類のマニピュレーションタスクで成功を示した。
- 二足歩行ロボットのための適応型高速運動適応歩行2022/5/1
二足歩行ロボットの不安定さに対応するため、高速適応手法を拡張し、不完全な推定器に合わせてベースポリシーを微調整するA-RMAを提案。シミュレーションで優位性を示し、実機Cassieでのゼロショット展開を実現。
- スロット中心モデルによるテスト時適応シーン分解2022/3/1
スロット中心の生成モデルとテスト時適応を組み合わせ、再構成や視点間合成の損失でシーンごとに適応し、分布外のシーン分解性能を向上させた研究。
- RB2: ロボットマニピュレーションのためのランキング型ベンチマークマニピュレーション2022/3/1
SOTAアルゴリズム実装をベンチマークに組み込み、複数ラボの実験データを統合してグローバルなランキングを確立する手法を提案した論文。
- REvolveR: 連続進化モデルによるロボット間ポリシー転送sim2real2022/2/1
ロボットのパラメータを連続的に進化させながら中間ロボットを生成し、ソースからターゲットへポリシーを段階的に転送する手法を提案。
- ロボティック・テレキネシス：YouTube動画から学ぶロボットハンド模倣遠隔操作/模倣学習2022/2/1
単眼RGBカメラで人間の手の動きを観察し、YouTubeの大量の手動画データを活用して、人間とロボットの形状差を超えてリアルタイムにロボットハンド・アームへ動作を転写する遠隔操作システムを構築した。
- 言語モデルをゼロショットプランナーとして活用：身体性エージェントのための実行可能知識の抽出VLA2022/1/1
大規模言語モデルが追加学習なしに高レベルな自然言語タスクを中間計画に分解できることを示し、既存の実演に基づいて計画を実行可能な行動に変換する手法を提案した論文。
- 視覚と固有感覚を融合した脚式ロボットのナビゲーション歩行ナビゲーション2021/12/1
視覚と固有感覚の相補性を活かし、脚式ロボットが歩行能力を考慮した経路計画を行う点ゴールナビゲーションシステムVP-Navを開発した。
- 微分可能な空間計画のためのTransformer経路計画2021/12/1
障害物マップから長距離の空間依存を考慮して経路計画を学習するTransformerベースのプランナSPTを提案し、操作・ナビゲーションタスクで既存の微分可能プランナを7〜19%上回った。
- 学習可能なフーリエ特徴による強化学習の関数正則化強化学習2021/12/1
入力を学習可能なフーリエ基底に埋め込むことで、状態ベースと画像ベース両方の強化学習のサンプル効率を改善する手法を提案し、NTK解析で初期分散の調整が関数正則化に相当することを示した。
- エネルギー消費の最小化が脚式ロボットの歩容を創発させる歩行2021/11/1
機械的エネルギー消費を最小化するように学習させることで、実機の四足ロボットに速度に応じた自然な歩容（整地では馬や羊に似た構造的歩容、不整地では非構造的歩容）が創発することをシミュレーションと実機で示した論文。
- 幾何認識を活用したマルチタスク学習による器用な操作の汎化マニピュレーション2021/11/1
物体の点群表現とマルチタスク学習を組み合わせることで、100以上の多様な実物体を把持内で操作でき、未見の形状やサイズにも汎化する単一の汎用方策を実現した。
- パラメータ化行動プリミティブによるロボット強化学習の加速強化学習2021/10/1
ロボットの行動をパラメータ付きプリミティブのライブラリとして手動設計し、RLポリシーがその引数を学習することで、連続行動空間での探索を効率化し学習効率と性能を向上させた研究。
- 世界モデルによる多様な目標の発見と達成世界モデル2021/10/1
画像から世界モデルを学習し、想像上のロールアウトで探索方策と達成方策を訓練することで、教師なしで多様な目標を発見し、目標画像をゼロショットで達成する手法LEXAを提案した論文。
- 脚式ロボットのための高速モータ適応歩行2021/7/1
四足歩行ロボットが未知の地形や負荷変化に瞬時に適応できるよう、シミュレーションのみで訓練した基本ポリシーと適応モジュールを組み合わせたRMAアルゴリズムを提案し、実機A1で多様な地形での高い性能を示した。
- 階層型ニューラル動的ポリシー模倣学習2021/7/1
動的システムの構造を階層型深層ポリシー学習に埋め込み、局所ポリシーを蒸留して高次元画像から多様な配置に汎化するH-NDPを提案した論文。
- 制御のための視覚的3Dキーポイントの教師なし学習表現学習2021/6/1
画像から微分可能なエンコーダで3Dキーポイントを教師なし学習し、多視点一貫性と制御タスク目的を同時最適化することで、ロボット関節や物体運動を捉え強化学習ベンチマークで従来手法を上回った。
- 自動調整によるSim-to-Real転送sim2real2021/4/1
実世界のRGB画像のみを用いてシミュレータのシステムパラメータを自動調整し、実世界に近づける検索手法を提案した論文。
- ニューラル動的ポリシー：エンドツーエンドの感覚運動学習強化学習2020/12/1
二階微分方程式で行動空間を再パラメータ化し、軌道分布空間で予測するニューラル動的ポリシーを提案。模倣学習と強化学習の両方で従来手法を上回る。
- 学習された潜在行動空間での計画による汎化可能な脚式移動歩行2020/8/1
低レベル制御器と高レベル潜在行動空間を同時学習し、学習済みダイナミクスモデルでMPC的に潜在行動を計画することで、複数ロボットの脚式移動を汎化・高サンプル効率で実現した研究。
- 自己教師あり世界モデルによる探索計画強化学習/探索2020/5/1
将来の新規性を計画によって先読みして探索する自己教師あり強化学習エージェントを提案し、高次元画像入力の制御タスクで報酬なしでも従来手法を上回りオラクルに迫る性能を示した。
- スパースグラフィカルメモリによるロバストな計画計画2020/3/1
状態と遷移をスパースに保持する新データ構造SGMを提案し、双方向一貫性で状態を統合することで長期的な視覚ナビゲーション計画を高精度に実現した。
- 第三者視点動画からの階層型模倣学習模倣学習2019/11/1
三人称視点の人間のデモ動画1本から、未知の物体や環境で作業できるロボットを学習させる手法を提案。何を達成するかとどう実行するかを分離した階層構造で、高レベルが一人称のサブゴールを生成し、低レベルが行動を予測する。
- アンサンブル不一致による自己教師あり探索探索2019/6/1
複数のダイナミクスモデルの予測不一致を最大化するよう方策を微分可能に最適化し、外部報酬なしで確率的環境や実機ロボットの探索を効率化した研究。
- 自己組織化する形態の制御学習：モジュール性による汎化の研究モジュラーロボティクス2019/2/1
原始的な手足エージェントが動的に自己組織化して複合体を形成し、その制御を学習するモジュール型協調進化戦略を提案し、環境や構造の変化に対する汎化性能が静的・単一型ベースラインより優れることを示した。
- 好奇心駆動学習の大規模研究強化学習2018/8/1
外発的報酬なしに予測誤差を報酬とする好奇心のみで54のベンチマーク環境を学習し、多くのゲームで良好に機能することを示した大規模研究。
- インタラクションによるインスタンスセグメンテーションの学習インスタンスセグメンテーション2018/6/1
ロボットが環境と自己教師ありで相互作用しながら視覚観測を物体ごとに分割するセグメンテーションモデルを学習する手法を提案し、新規物体や背景への汎化と下流の視覚制御タスクでの有用性を示した。
- ゼロショット視覚模倣学習模倣学習2018/4/1
エージェントが専門家の行動なしに自己探索でスキルを獲得し、目標画像列だけから新しいタスクを模倣できる枠組みを提案した論文。
- 自己教師あり予測による好奇心駆動型探索強化学習・探索2017/5/1
自分の行動の結果を自己教師あり学習した特徴空間で予測し、その予測誤差を好奇心として内的報酬に用いることで、報酬が乏しい環境でも効率的に探索できる強化学習手法を提案した。
