Ajay Mandlekar
NVIDIA
収録論文 51本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ScheduleGen: スキルスケジューリングによるマルチアーム模倣学習のためのデモンストレーション生成マニピュレーション2026/10/29
マルチアーム制約を考慮した計画・スケジューリング統合アルゴリズムで、少数のデモから安全で成功する新規デモを自動生成し、模倣学習ポリシーの訓練を効率化する。
- ASPIRE: ロボットのためのエージェント的スキル発見スキル発見/継続学習2026/7/1
ロボット制御プログラムを自律的に作成・改善し、再利用可能なスキルライブラリを構築する継続学習システムASPIREを提案。シミュレーションと実世界で高い性能とゼロショット汎化を示した。
- GRAFT: グラフベースのアフォーダンス転移と部品対応付けマニピュレーション2026/6/1
物体を部品ベースのグラフで表現し、幾何学的類似性に基づいてデモンストレーションから未見物体への操作転移を行う、ゼロショット操作転移手法を提案した。
- Human2Any: 制約を考慮した構成的プランニングによる人間からロボットへの転移操作学習/転移学習2026/6/1
人間の動画から物体間の相互作用の事前知識を学習し、ロボットの制約を考慮したプランニングと組み合わせることで、実ロボットのデモデータなしに多様なロボットへ操作スキルを転移するフレームワークを提案。
- SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成sim2real2026/6/1
実世界のビデオからシミュレーション用のシーンを自動生成し、多様なバリエーションを作成してロボットポリシーの訓練と評価を行うシステムを提案。シミュレーションでの評価が実世界性能を強く予測し、訓練時のバリエーション追加が成功率を向上させることを示した。
- HumanoidMimicGen: 全身計画による移動操作のためのデータ生成データ生成/移動操作2026/5/1
ヒューマノイドの移動と操作を模倣学習で訓練するためのデータを自動生成する手法を提案。少数の実演から全身スキルを適応させ、多様なシーンで安定したデータを生成し、実データのみで訓練した場合より20%性能が向上した。
- COBALT: スマートフォンを用いたクラウドベース遠隔操作によるロボット学習のクラウドソーシング遠隔操作/データ収集2026/5/1
スマートフォンなどの一般的なデバイスを用いて、複数ユーザーが同時に遠隔操作でロボットのデモデータを収集できるプラットフォームを提案し、模倣学習のための大規模データ収集を低コストで実現した。
- SoftMimicGen: 変形物体操作のためのスケーラブルなロボット学習データ生成システムデータ生成/変形物体操作2026/3/1
変形物体操作タスク向けに、高忠実度シミュレーション環境と自動データ生成パイプラインを構築し、生成データで高性能なポリシーを学習できることを示した論文。
- Point Bridge: クロスドメイン方策学習のための3D表現sim2real2026/1/1
VLMで抽出した点群表現とTransformer方策を用い、合成データのみで実世界マニピュレーションのゼロショットsim-to-real転移を実現するフレームワーク。
- ReinforceGen:自動データ生成と強化学習によるハイブリッドスキルポリシーマニピュレーション2025/12/1
タスクを局所的なスキルに分解し、10件の人間デモから模倣学習で初期方策を構築した後、強化学習で微調整する長期的マニピュレーション手法を提案。
- Isaac Lab:マルチモーダルロボット学習のためのGPU加速シミュレーションフレームワークsim2real2025/11/1
GPU並列物理演算とフォトリアル描画を統合し、強化学習・模倣学習を大規模に実行できるロボット学習用シミュレーションプラットフォームを提案。
- シミュレーションと実機のポリシー共同学習のための汎化可能なドメイン適応sim2real2025/9/1
シミュレーションと少数の実機デモを組み合わせ、最適輸送に基づく損失でドメイン不変な特徴空間を学習し、実機でのマニピュレーション成功率を最大30%向上させる手法を提案。
- TeleopLab:遠隔実験室向けのアクセシブルで直感的なロボットマニピュレータ遠隔操作遠隔操作2025/9/1
スマートフォンからロボットアームと実験器具を操作できる遠隔実験システムを開発し、ユーザー研究で作業時間の短縮と高いユーザビリティを確認した。
- Grasp-MPC:価値関数誘導型モデル予測制御による閉ループ視覚把持マニピュレーション2025/9/1
大規模合成データで学習した価値関数をモデル予測制御に組み込み、散らかった環境でも未知物体を反応的に把持できる閉ループ6自由度視覚把持ポリシーを提案した。
- ロボットマニピュレーションのための大規模データセット学習で重要な要素は何かマニピュレーション2025/6/1
大規模ロボットデータセットの構成を体系的に研究し、多様性の強調点と既存データからの効果的なデモンストレーション検索方法を明らかにした。
- DreamGen:動画世界モデルでロボット学習の汎化を解き放つVLA2025/5/1
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
- DexMachina:両手巧みな操作のための機能的リターゲティングマニピュレーション2025/5/1
人間の両手による物体操作のデモンストレーションから、関節物体を長期的に操作する巧みなロボットハンドのポリシーを学習する手法を提案。仮想物体コントローラを徐々に弱めるカリキュラム学習により、人間とロボットの身体性ギャップを克服する。
- GR00T N1: 汎用人型ロボットのためのオープン基盤モデルVLA2025/3/1
視覚言語モジュールと拡散トランスフォーマを組み合わせた二重システム構成のVLA基盤モデルを提案し、実機・人間動画・合成データで学習して人型ロボットの両手マニピュレーションを実現した。
- シミュレーションと実世界の共訓練:視覚ベースロボットマニピュレーションのための簡単なレシピマニピュレーション2025/3/1
シミュレーションと実世界のデータを混合して方策を共訓練する簡単な手法を提案し、ロボットアームとヒューマノイドの多様なタスクで実世界性能を平均38%向上させた。
- SkillMimicGen: スキル学習と展開を効率化する自動デモ生成模倣学習2024/10/1
少数の人間デモをスキルに分割・適応・連結して大量のデモを自動生成し、ハイブリッドスキルポリシーで長期的タスクの模倣学習と実機転移を実現する。
- DexMimicGen:両腕巧みな操作のための模倣学習による自動データ生成マニピュレーション2024/10/1
少数の人間デモからヒューマノイドロボットの両腕巧みな操作の軌道を自動生成するシステムを提案し、60のデモから21Kのデモを生成して実機タスクに展開した。
- 動画からの潜在行動事前学習VLA2024/10/1
ロボットの行動ラベルなしでインターネット規模の動画からVLAモデルを事前学習する手法を提案し、実世界のマニピュレーションタスクで既存手法を上回る性能を示した。
- ワンステップ拡散方策:拡散蒸留による高速視覚運動方策VLA2024/10/1
事前学習済み拡散方策を蒸留して1ステップで行動を生成する手法を提案し、推論速度を1.5Hzから62Hzへと大幅に高速化した。
- AHA: ロボットマニピュレーションの失敗を検出・推論する視覚言語モデルVLA2024/10/1
ロボット操作の失敗を自然言語で検出・説明するオープンソースVLM「AHA」を提案し、シミュレーションで生成した大規模失敗データセットで学習させ、実世界や未見タスクへの汎化性能を示した。
- SPIRE: 長期的操作のための計画・模倣・強化学習の相乗的統合マニピュレーション2024/10/1
タスク・動作計画でタスクを分解し、模倣学習と強化学習を組み合わせて長期的なロボット操作を効率的に学習する手法を提案。
- ロボティクスにおける深層生成モデル:マルチモーダル実演からの学習に関するサーベイ模倣学習2024/8/1
ロボットの実演学習に深層生成モデル(拡散モデルやGANなど)を活用する近年の研究を、モデル種別・応用・分布外汎化の観点から統一的に整理したサーベイ。
- RoboCasa:汎用ロボットのための日常タスク大規模シミュレーションsim2real2024/6/1
キッチン環境を中心に多様な3Dアセットと100種類のタスクを備えた大規模シミュレーションフレームワークを構築し、生成AIや自動軌道生成でデータを拡張して汎用ロボットの模倣学習を可能にした。
- IntervenGen: ロバストでデータ効率の良いロボット模倣学習のための介入データ生成模倣学習2024/5/1
少数の人間による修正介入から、状態空間を広くカバーする大量の介入データを自動生成し、模倣学習ポリシーの分布シフトへのロバスト性を最大39倍向上させる手法を提案。
- シグネチャと動的計画法の融合:軌道追従のためのベルマン方程式の一般化制御/軌道追従2023/12/1
パスシグネチャを用いてベルマン方程式を軌道空間に一般化し、適応的な時間ステップやモデル誤差に頑健な軌道追従のための制御フレームワークを提案した。
- NOD-TAMP:ニューラル物体記述子による汎化可能な長期計画マニピュレーション2023/11/1
少数の人間デモから短い操作軌道を抽出し、ニューラル物体記述子で適応させて組み合わせることで、多様な物体・シーンに汎化する長期接触操作を実現するTAMPベースの枠組みを提案。
- 人間参加型タスク・運動計画による模倣学習模倣学習2023/10/1
TAMPと人間の遠隔操作を組み合わせ、接触の多い長期的タスクの模倣学習データを効率的に収集するシステムを提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- MimicGen:人間のデモンストレーションからスケーラブルなロボット学習を実現するデータ生成システム模倣学習2023/10/1
少数の人間デモを新しい状況に適応させて大規模データセットを自動生成し、模倣学習によるロボットの長期的・高精度タスクの性能を向上させるシステムを提案。
- TAMPを視覚運動Transformerで模倣するOPTIMUS模倣学習2023/5/1
タスク・運動計画(TAMP)が自動生成した大規模デモデータを視覚運動Transformerで模倣し、多様な物体操作タスクを70〜80%の成功率で解くシステムOPTIMUSを提案。
- Orbit: インタラクティブロボット学習環境のための統合シミュレーションフレームワークsim2real2023/1/1
NVIDIA Isaac Simを基盤に、フォトリアルなシーンと高忠実度の剛体・変形体シミュレーションを備えたモジュール式ロボット学習フレームワークOrbitを提案。GPU並列化により強化学習やデモ収集を高速化し、16のロボット、4種のセンサ、20以上のベンチマークタスクを提供する。
- 能動的タスクランダム化:多様で実行可能なタスクの教師なし生成によるロバストスキルの学習マニピュレーション2022/11/1
タスクの多様性と実行可能性のバランスを取りながら教師なしで訓練タスクを生成し、ロバストな操作スキルを学習する手法を提案。
- MoCoDA: モデルベース反実仮想データ拡張マニピュレーション2022/10/1
環境遷移の局所的な因子分解構造を利用し、学習したダイナミクスモデルで反実仮想遷移を生成するデータ拡張手法を提案。未見の状態・行動に汎化するロボットマニピュレーションをオフラインRLで実現した。
- 事前データからの学習と検索によるスキルベース模倣学習模倣学習2022/10/1
過去のタスクのデータから時間的に拡張されたスキルを抽出し、新規タスク用のポリシーがそれらを呼び出す枠組みを開発。表現学習と検索ベースのデータ拡張で性能を向上させ、模倣学習やオフライン強化学習を上回ることを示した。
- テレオペデータからの誤り検知を備えた移動マニピュレーションの模倣学習移動マニピュレーション2021/12/1
移動マニピュレーション向けに同時操作可能なテレオペレーションフレームワークMoMaRTを提案し大規模データセットを収集、失敗状態を検知する誤り検出器を組み合わせた模倣学習で多段タスクの成功率を向上させた。
- オフライン人間デモンストレーションからのロボットマニピュレーション学習で重要なこと模倣学習2021/8/1
6つのオフライン学習アルゴリズムを5つのシミュレーションと3つの実世界の多段階マニピュレーションタスクで比較し、人間デモデータから学ぶ際の課題と教訓を明らかにした研究。
- 支援ロボットを直感的に操作するための潜在行動の学習支援ロボット操作2021/7/1
7自由度アームの高次元動作を低次元の潜在行動に埋め込み、ジョイスティック操作と組み合わせて支援ロボットを直感的に操作できるようにした研究。
- 手と目の協調による汎化:空間不変な視覚運動制御を学習するための行動空間模倣学習2021/3/1
人間の手と目の協調を模した学習可能な行動空間HANを提案し、模倣学習ポリシーが新しいシーン配置にゼロショットで汎化できることを多段階操作タスクで示した。
- 遠隔操作による人間介入型模倣学習模倣学習2020/12/1
6自由度マニピュレーション向けに、人間が遠隔から訓練済み方策を監視・介入できるデータ収集システムと、介入データで方策を反復学習するアルゴリズムを提案した論文。
- 協調テレオペレーションによる多腕マニピュレーションの学習マニピュレーション2020/12/1
複数ユーザが遠隔から同時に複数のロボットアームを操作して実演を収集するプラットフォームMARTを構築し、多腕タスクの模倣学習における集中化の課題を分析した研究。
- 深層アフォーダンス先読み:将来可能な行動を通じた計画立案マニピュレーション2020/11/1
将来のアフォーダンスをモデル化することで長期的な行動効果を推論し、多段階の操作タスクを学習・計画する手法を提案した論文。
- robosuite:モジュール式ロボット学習シミュレーションとベンチマークシミュレーション2020/9/1
MuJoCoを基盤としたモジュール式ロボット学習シミュレーションフレームワークrobosuite v1.5の主要モジュールとベンチマーク環境を紹介する論文。
- 人間のデモンストレーションから長期的タスクへの汎化を学ぶ模倣学習2020/3/1
複数の人間デモの軌道が状態空間で交差する構造を利用し、未見の開始・目標状態の組み合わせに汎化する目標指向方策を2段階のオフライン模倣学習で訓練する手法GTIを提案し、実世界の長期的マニピュレーションで検証した。
- IRIS: 大規模オフライン実演データから制御を学ぶ暗黙的強化学習フレームワークオフライン強化学習2019/11/1
大規模なロボット操作の実演データから、低レベル模倣コントローラと高レベル目標選択を分離して学習するIRISを提案し、完全オフライン学習で高性能な方策を得られることを示した。
- RoboTurkで数百時間規模のロボット教師データ収集を実現テレオペレーション2019/11/1
遠隔テレオペレーション基盤RoboTurkを拡張し、1週間で54人・3タスク・111時間超のロボットマニピュレーションデータを収集、その品質と多様性を評価した論文。
- 学習した潜在アクションで支援ロボットを操作する遠隔操作2019/9/1
支援ロボットの操作を簡単にするため、タスク実演から低次元の潜在アクションを学習し、ユーザーが少ない自由度で高次元の腕を動かせる遠隔操作手法を提案した。食事・調理タスクのユーザー実験で既存手法より効率的に操作できることを示した。
- RoboTurk:模倣によるロボット技能学習のためのクラウドソーシング基盤模倣学習2018/11/1
スマホなどの一般モバイル端末で6自由度の遠隔操作を可能にし、クラウドソーシングで大規模な操作デモを収集するプラットフォームを構築した。VRコントローラ並みの操作性と劣悪なネットワーク下での頑健性を示し、2200件超のデモを収集して疎報酬の多段階操作タスクの政策学習に有効であることを実証した。
