Abhinav Gupta
Carnegie Mellon University
収録論文 72本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- BRIDGE: 形態と制御の共設計による物理AIのためのオープンソース人型ロボットプラットフォーム人型ロボット/共設計2026/9/3
人間の動作データを活用できる人型ロボットの設計を、形態と全身制御をデータ駆動で共最適化するフレームワークを提案し、その設計を実現したオープンソースの小型人型ロボット「Bridge」を公開した。
- マイクロロボット向け高トルク密度PCBアキシャルフラックス永久磁石モータアクチュエータ2025/9/1
IC基板HDI技術で作製した48層PCB巻線により、直径19mm・厚さ5mmで銅充填率45%を達成したマイクロアキシャルフラックスモータを開発し、電磁・熱解析と試作機で性能を検証した。
- 進化的方策最適化強化学習2025/3/1
進化的アルゴリズムのスケーラビリティと方策勾配の安定性を組み合わせたハイブリッド強化学習手法EPOを提案し、巧みな操作や歩行タスクで性能を向上させた。
- 長期的なソフトロボティクスデータ収集のためのモジュラーパラレルマニピュレータソフトロボティクス2024/9/1
ソフトロボットの大規模データ収集を可能にする、市販モータと柔軟なパラレル構造の指を組み合わせたモジュラーロボットプラットフォームを提案し、方策勾配強化学習への適用可能性を検証した。
- Gen2Act: 人間動画生成を活用した汎用ロボットマニピュレーションマニピュレーション2024/9/1
ウェブデータで学習した人間動画生成モデルを使い、生成された動画を条件にロボット方策を学習することで、未見物体や新規動作への汎化を実現した。
- HRP: 人間のアフォーダンスを活用したロボット事前学習VLA2024/7/1
インターネット上の人間動画から手・物体・接触のアフォーダンスを自動抽出し、既存の視覚表現を微調整することで、多様なロボットタスクの性能を向上させる手法を提案。
- 触覚を聴く:接触の多いマニピュレーションのための音声視覚事前学習マニピュレーション2024/5/1
接触マイクを触覚センサとして用い、大規模な音声視覚データで事前学習することで、ロボットマニピュレーションの性能を向上させる手法を提案。
- Track2Act: インターネット動画からの点トラック予測による汎化可能なロボットマニピュレーションマニピュレーション2024/5/1
ウェブ上の人間やロボットの動画から画像内の点の動きを予測し、それを物体の剛体変換に変換してロボットの手先軌道を生成することで、未見の物体や場面でも適応なしに操作できる汎用的なマニピュレーション手法を提案した。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- 連続的な系列間モデリングのための階層的状態空間モデル時系列モデリング2024/2/1
生のセンサ系列から物理量の系列を予測するため、構造化状態空間モデルを積み重ねた時間的階層モデルHiSSを提案し、6つの実世界データセットでTransformerやMamba等を上回る精度を示した。
- 人間の行動計画の翻訳による汎用ゼロショットマニピュレーションマニピュレーション2023/12/1
人間の動画から行動計画を予測し、それをロボットの動作に変換することで、未見の物体やタスクに対しても訓練なしで対応できる汎用的なマニピュレーション手法を提案した。
- 意味的具現化ナビゲーションのための活用誘導探索ナビゲーション2023/11/1
物体ナビゲーションにおいて、探索と活用のモジュールを組み合わせるXGXを提案し、成功率を70%から73%に向上させ、実機転移でもベースラインの2倍以上の性能を達成した。
- 視覚運動事前学習用データセットの公平な評価事前学習2023/10/1
ロボットの視覚運動事前学習において、アルゴリズムよりもデータセット選択が重要であることを示し、従来の視覚データセットが意外に有効であることや、シミュレーションベンチマークの限界を明らかにした。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- RoboAgent: 意味的拡張と行動チャンキングによるロボットマニピュレーションの汎化と効率化マニピュレーション2023/9/1
意味的データ拡張と行動チャンキングで少量のデモから多様な操作スキルを学習する汎用ロボットエージェントを開発し、未知タスクで従来手法を40%以上上回る性能を示した。
- オフラインで訓練し、オンラインでテスト:実機ロボット学習ベンチマークsim2real2023/6/1
共有ロボットハードウェアとオープンソースデータセットを提供し、遠隔からオフライン学習手法を実機で評価できるベンチマークTOTOを提案した。
- 家庭用ロボットにおける継続学習の評価継続学習2023/6/1
低コスト家庭用ロボットで、少数のデモンストレーションから非独立同分布データのストリーム上で継続的にスキルを学習する手法SANERとABIPを提案し、4つのキッチンタスクで評価した。
- ロボット探索を導く視覚的アフォーダンス予測マニピュレーション2023/5/1
シーン画像から将来起こりうる状態の分布をTransformerとVQ-VAEで学習し、そのアフォーダンスモデルを目標サンプリング分布として使うことでロボットのマニピュレーション探索を導く手法を提案した論文。
- 見て操作する:事前学習済み表現から操作コントローラを生成マニピュレーション2023/3/1
事前学習済み視覚表現を人間の動画で微調整し、距離関数とダイナミクス予測器を学習することで、ロボット実演なしに多様な実世界操作タスクを高成功率で実行する手法を提案。
- アフォーダンス拡散:手と物体のインタラクションを合成する拡散モデル2023/3/1
物体画像から、その物体を掴む手の姿勢と画像を拡散モデルで生成し、アフォーダンス情報を予測する手法を提案。
- 受動的な人間動画からのゼロショットロボットマニピュレーションマニピュレーション2023/2/1
人間の多様な動画から手の軌道予測モデルを学習し、ロボットの身体に変換してゼロショットで粗いマニピュレーションを実現した。
- 万能段々畑農業ロボットの設計農業ロボット2022/12/1
急な段々畑を登り、さまざまな農作業を行える自律ロボット「Aarohi」の設計と、その機構・制御・自律走行アルゴリズムを提案した論文。
- ラストマイル身体性視覚ナビゲーション視覚ナビゲーション2022/11/1
画像ゴールナビゲーションにおいて、ゴール発見後の最終段階のナビゲーションをニューラル記述子で改善するSLINGを提案し、成功率を45%から55%に向上させた。
- 実世界オフライン強化学習のための現実的データ源オフライン強化学習2022/10/1
安全な関連タスクの運用データを実世界ロボット学習のデータ源とし、4つの卓上マニピュレーションタスクで代表的なオフラインRL手法の汎化・転移性能を大規模に評価した研究。
- 触覚を全身に備えた器用なロボットハンド「DManus」触覚2022/10/1
手のひら全体と指先に触覚センサを備えた安価でモジュール式のロボットハンドを開発し、触覚を活用した仕分けタスクで有効性を示した。
- 把持前姿勢と物体軌道の例示による器用なマニピュレーションの学習マニピュレーション2022/9/1
把持前姿勢(pre-grasp)を探索の手がかりに使い、タスクごとの設計や調整なしで多様な物体の器用な操作行動を学習するPGDMフレームワークを提案し、50タスクのベンチマークTCDMで有効性を示した。
- 実環境における人間からロボットへの模倣学習模倣学習2022/7/1
一人称視点の人間動画からロボットがワンショットで模倣学習できる手法WHIRLを提案し、実環境での20種類のマニピュレーションタスクで成功を示した。
- 基盤モデルはロボットマニピュレーションのゼロショットタスク指定ができるか?VLA2022/4/1
インターネット画像・手描きスケッチ・言語文といった多様な目標指定に対し、大規模事前学習モデル(基盤モデル)がゼロショットでロボット操作タスクを指定できるかをシミュレーションと実世界データで検証した。
- R3M: ロボットマニピュレーションのための汎用視覚表現マニピュレーション2022/3/1
人間の動画データで視覚表現を事前学習し、下流のロボット操作タスクを少ないデータで効率的に学習できることを示した論文。
- 制御タスクにおける事前学習済み視覚モデルの意外な有効性VLA2022/3/1
大規模画像データセットで事前学習した視覚表現が、環境固有データなしでも制御ポリシーの学習に有効であることを多様な制御領域で実証した研究。
- RB2: ロボットマニピュレーションのためのランキング型ベンチマークマニピュレーション2022/3/1
SOTAアルゴリズム実装をベンチマークに組み込み、複数ラボの実験データを統合してグローバルなランキングを確立する手法を提案した論文。
- 微分可能な非把持平面マニピュレーション学習レシピマニピュレーション2021/11/1
動画から物体の平面運動を再現する接触を考慮したロボット動作を、微分可能最適化と有限差分シミュレーションを組み合わせて学習する手法を提案。
- ReSkin:多用途で交換可能な長寿命触覚スキン触覚2021/11/1
磁気センシングと機械学習を組み合わせ、摩耗しても交換しやすく長期間使える低コストな柔らかい触覚センサを開発した。
- ロボット政策学習のための多目的カリキュラム学習強化学習/カリキュラム学習2021/10/1
サブゴール生成や報酬整形など複数のカリキュラム設計を単一のハイパーネットで統合し、ロボットマニピュレーションタスクで自動カリキュラム学習を実現した研究。
- 機能対応問題:カテゴリを超えた視覚的対応の学習視覚的対応/機能認識2021/9/1
靴と瓶など異なるカテゴリの物体間でも、与えられたタスク(叩く・注ぐ等)に基づく機能的対応を見つける問題を提唱し、10タスク・20カテゴリのデータセットFunKPointとタスク駆動型表現を提案した論文。
- 階層型ニューラル動的ポリシー模倣学習2021/7/1
動的システムの構造を階層型深層ポリシー学習に埋め込み、局所ポリシーを蒸留して高次元画像から多様な配置に汎化するH-NDPを提案した論文。
- 深層モデル予測制御によるビジュアルサーボビジュアルサーボ2021/5/1
オプティカルフロー予測と制御ネットワークを組み合わせ、未知環境でも高精度に位置合わせできる深層モデル予測ビジュアルサーボ手法を提案した。
- Learn-to-Race:自動運転レースのためのマルチモーダル制御環境自動運転レース/sim2real2021/3/1
高速レース向けの車両ダイナミクスとマルチモーダルセンサを備えた新しいシミュレータ「Arrival」と学習フレームワークを公開し、専門家デモを含むベンチマークを提供した論文。
- Where2Act:関節物体に対するピクセルから行動への変換アフォーダンス2021/1/1
画像と深度から、関節物体の各ピクセルで可能な押す・引くなどの操作と動く領域を予測するネットワークを提案し、シミュレーションで学習してカテゴリを超えて汎化する。
- droidlet:モジュール式ヘテロジニアス・マルチモーダルエージェント基盤マルチモーダルエージェント2021/1/1
知覚・言語・行動を一つのプラットフォームに統合し、大規模静的データとロボティクスのヒューリスティクスを組み合わせたモジュール式エージェント基盤droidletをオープンソース化した。
- ニューラル動的ポリシー:エンドツーエンドの感覚運動学習強化学習2020/12/1
二階微分方程式で行動空間を再パラメータ化し、軌道分布空間で予測するニューラル動的ポリシーを提案。模倣学習と強化学習の両方で従来手法を上回る。
- 同じ物体でも掴み方は違う:タスク指向把持のためのデータと意味的知識把持2020/11/1
56タスク・191物体・25万件のタスク指向把持データセットTaskGraspを構築し、物体とタスクの意味知識を知識グラフで活用するGCNGraspを提案した論文。未知物体や新タスクへの汎化性能を約12%向上させ、実機でも検証した。
- ワンショット視覚模倣のためのTransformer模倣学習2020/11/1
他エージェントの動画からロボットの行動を推論し、テスト時に一度の実演例で新しいタスクを模倣できるTransformerベースの手法を提案。
- 視覚模倣を手軽に:把持補助具で収集した実演からロボット動作を学習模倣学習2020/8/1
市販のリーチャー・グラバーをデータ収集とロボットのエンドエフェクタの両方に使い、SfMと指検出ネットワークで視覚実演から行動を抽出して、プッシュと積み重ねタスクの模倣学習を実現した論文。
- 目標志向セマンティック探索による物体目標ナビゲーション物体目標ナビゲーション2020/7/1
エピソード型セマンティックマップを構築し、目標物体カテゴリに基づいて効率的に探索するモジュール式システムを提案。未見環境での物体目標ナビゲーションで既存手法を上回り、実機ロボットにも転移可能なことを示した。
- ガシャン!カタカタ!ドスン!―音を伴う動作の理解音響知覚2020/7/1
ロボットが物体を傾けて衝突させることで音と動作の大規模データセットを構築し、音が物体の細かい分類や動作の因果関係、物理特性の推定に有効であることを示した研究。
- 時間的変分推論によるロボットスキルの学習模倣学習2020/6/1
ロボットのデモンストレーションから、低レベル制御方策とそれらを組み合わせる高レベル方策を教師なしで同時に学習する枠組みを提案。オプションを連続潜在変数として捉え、軌道尤度の時間的分解に基づく変分推論で推論する。
- 視覚ナビゲーションのためのニューラルトポロジカルSLAM視覚ナビゲーション2020/5/1
未知環境で目標画像の場所へ移動する画像ゴールナビゲーションのため、意味特徴を持つノードを粗い幾何情報で結ぶトポロジカル表現を構築・維持・利用する学習手法を提案した。
- 能動的ニューラルSLAMによる探索方策の学習ナビゲーション2020/4/1
学習ベースSLAMと経路計画・大域/局所方策を階層的に組み合わせ、3D環境を効率的に探索する手法を提案し、シミュレーションで従来法を上回る性能を示した。
- フォースを推測せよ:効果シミュレーションによる物理力予測の学習物理推論2020/3/1
人間と物体の接触動画から接触点と物理力を推定するため、物理シミュレータで予測効果を監督信号として用いる手法を提案し、力の予測と動作の模倣、接触点との同時最適化、少数例での新規物体への汎化を示した。
- 第三者視点動画からの階層型模倣学習模倣学習2019/11/1
三人称視点の人間のデモ動画1本から、未知の物体や環境で作業できるロボットを学習させる手法を提案。何を達成するかとどう実行するかを分離した階層構造で、高レベルが一人称のサブゴールを生成し、低レベルが行動を予測する。
- 物体中心の順モデルによるモデル予測制御モデル予測制御2019/10/1
シーンを物体の集合として表現し、ランダムな相互作用データから行動の効果を学習する物体中心の順モデルを提案。学習したモデルで目標状態へ至る行動列を探索し、補正モジュールと組み合わせて閉ループ制御を実現した。
- 学習したタスクスキーマによる効率的な両腕マニピュレーション両腕マニピュレーション2019/9/1
スキル列(タスクスキーマ)と状態依存のパラメータ選択を分離して学習することで、実機の両腕ロボットで疎報酬タスクを効率的に解く手法を提案した。
- 環境を探るインタラクションポリシー強化学習2019/7/1
強化学習で未知環境に適応するため、まず環境の特性を探るEPIポリシーを学習し、その情報をタスクポリシーの入力に用いる手法を提案。遷移予測性に基づく報酬で学習し、新規環境での性能を向上させた。
- PyRobot:研究・ベンチマーク向けオープンソースロボティクスフレームワークロボティクスフレームワーク2019/6/1
ROS上に構築した軽量な高レベルAPIで、ハードウェアに依存せず多様なロボットを制御できるオープンソースフレームワークPyRobotを提案し、非ロボティクス研究者の参入障壁を下げる。
- アンサンブル不一致による自己教師あり探索探索2019/6/1
複数のダイナミクスモデルの予測不一致を最大化するよう方策を微分可能に最適化し、外部報酬なしで確率的環境や実機ロボットの探索を効率化した研究。
- ナビゲーションのための探索方策の学習ナビゲーション2019/3/1
タスク報酬なしで3D環境を自律探索する方策を学習し、空間記憶と模倣学習・被覆報酬による微調整が有効であることを示した論文。
- ハードウェア条件付き方策によるマルチロボット転移学習sim2real2018/11/1
ロボットのハードウェア情報をベクトルで条件付けした汎用方策を学習し、未知のロボットへのゼロショット転移や効率的なファインチューニングを実現した。
- MIME:模倣学習のための大規模実演データセット模倣学習2018/10/1
20種類のロボット操作タスクについて8260件の人間-ロボット実演を収集した大規模データセットMIMEを構築し、三人称視点の動画特徴からロボット軌道を予測する手法を提案・評価した。
- シーンプライアを用いた視覚意味ナビゲーション視覚ナビゲーション2018/10/1
物体間の意味的・機能的な関係を知識グラフとして取り込み、グラフ畳み込みネットワークと深層強化学習を組み合わせて、未知のシーンでも目的物体へ効率的にナビゲーションする手法を提案した。
- 家庭環境でのロボット学習:汎化性能の向上とデータセットバイアスの低減マニピュレーション2018/7/1
低コスト移動マニピュレータを自作し複数の家庭で2.8万回の把持データを収集、ラベルノイズを潜在変数として扱う枠組みを開発して、未知の家庭での把持成功率をラボ学習モデルより43.7%改善した。
- 見ずに掴む:触覚のみで未知物体を把持する学習手法触覚2018/5/1
触覚センサのみを用いて未知物体の位置を探索し、触覚フィードバックで把持を反復的に改善するシステムを提案。大規模把持データセットと教師なし触覚表現学習を構築した。
- カリキュラム加速自己教師あり学習による高次元把持制御マニピュレーション2017/8/1
制御次元ごとに学習順序を決めるカリキュラムを感度分析で自動設計し、視覚から高次元動作への把持政策を効率的に学習する手法を提案した。
- 3D幾何認識表現を用いた6自由度把持インタラクションの学習把持2017/8/1
RGBD入力から3D占有グリッドを再構成する幾何認識表現を学習し、それを用いて6自由度把持の成否を予測・最適化する手法を提案した論文。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
- 衝突から学ぶドローン飛行UAVナビゲーション2017/4/1
ドローンを意図的に11,500回衝突させて大規模な衝突データセットを構築し、それを用いた自己教師あり学習で障害物の多い環境でも飛べるナビゲーションポリシーを獲得した。
- 敵対的摂動に強い強化学習sim2real2017/3/1
外乱を加える敵対エージェントと制御エージェントをゼロサムminimaxで同時学習させ、sim2realや条件変化に対する頑健性を高める手法を提案。
- PixelNet:ピクセルによる、ピクセルのためのピクセル表現セグメンテーション2017/2/1
ピクセルの層化サンプリングにより、多様なピクセル単位予測タスク(エッジ検出・法線推定・セマンティックセグメンテーション)を単一アーキテクチャで高精度かつ効率的に学習できることを示した論文。
- 競争による教師信号:ロボット学習のための敵対者マニピュレーション2016/10/1
ロボットの学習タスクに敵対者を導入する敵対的学習フレームワークを提案し、敵対者に打ち勝つためにロボットがより頑健な把持モデルを学習できることを示した。
- 把持と押し動作のマルチタスク学習による効率的なロボット制御マニピュレーション2016/9/1
把持と押しの2つのタスクを同時に学習させることで、単一タスク専用モデルより少ないデータで高い性能を達成できることを示した研究。
- 好奇心旺盛なロボット:物理的相互作用による視覚表現の学習ロボット学習2016/4/1
Baxterロボットが物体を押す・突く・掴む・観察する4種類の物理的相互作用で13万件以上のデータを収集し、共有ConvNetで視覚表現を学習。画像分類やインスタンス検索でImageNet学習を上回る性能を示した。
- 大規模自己教師あり学習によるロボット把持:5万回・700時間の試行データマニピュレーション2015/9/1
700時間のロボット把持試行から5万件のデータを収集し、CNNで把持位置を予測する大規模学習手法を提案。多段階学習で難例を収集し、未知物体への汎化性能で最先端を達成した。
