Dhruv Batra
収録論文 48本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HM3D-OVON: オープンボキャブラリ物体目標ナビゲーションのデータセットとベンチマークナビゲーション2024/9/1
HM3DSemを基に379カテゴリ・1.5万以上の物体注釈を備えた大規模ObjectNavベンチマークを構築し、自由記述の言語で指定された任意物体を探索するオープンボキャブラリナビゲーション手法を評価・比較した。
- 家庭内でのオープンワールド移動マニピュレーションに向けて:NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- 事前学習済みテキスト画像拡散モデルは制御のための万能な表現学習器であるVLA2024/5/1
テキストから画像を生成する拡散モデルの内部表現を制御ポリシー学習に転用し、操作・ナビゲーションタスクで既存手法に匹敵する性能を達成した。
- GOAT-Bench: マルチモーダル生涯ナビゲーションのベンチマークナビゲーション2024/4/1
カテゴリ名・言語記述・画像など様々な形式の目標に対応する万能ナビゲーションタスク「GOAT」のベンチマークを提案し、RLやモジュラー手法を評価した。
- 基盤モデルによる汎用ロボットの実現に向けて:サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- VLFM: 視覚言語フロンティアマップによるゼロショット意味的ナビゲーションナビゲーション2023/12/1
深度から占有マップを作り、事前学習済み視覚言語モデルで言語に基づく価値マップを生成して、未知環境で対象物体へ効率的に探索するゼロショットナビゲーション手法を提案し、実機Spotでも実証した。
- GOAT: どこへでも行ける万能ナビゲーションシステムナビゲーション2023/11/1
カテゴリ・画像・言語で指定された目標へ移動できる、経験から学習し異なるロボットにも展開可能なナビゲーションシステムを提案し、実環境で83%の成功率を達成した。
- 事前学習済み視覚表現はシミュレーションと実環境でどう機能するか:大規模実証研究sim2real2023/10/1
5種類の事前学習済み視覚表現を3台のロボットと2つの学習手法で実世界タスクに適用し、シミュレーション性能が実環境性能の指標になることなどを示した。
- Habitat 3.0:人間・アバター・ロボットの共生シミュレーション基盤sim2real2023/10/1
家庭環境での人間とロボットの協調作業を研究するためのシミュレーションプラットフォームHabitat 3.0を提案し、人間参加型の評価基盤と社会的ナビゲーション・片付けタスクを実装した。
- HomeRobot: オープンボキャブラリな移動マニピュレーション移動マニピュレーション2023/6/1
家庭環境で未知の物体を把持し指定場所に置くオープンボキャブラリ移動マニピュレーションのベンチマークを、シミュレーションと実機の両方で構築し、強化学習とヒューリスティックのベースラインを評価した。
- Galactic: 毎秒10万ステップで物体再配置を学習する大規模強化学習フレームワーク移動マニピュレーション2023/6/1
家庭内での移動マニピュレーションによる物体再配置タスクを、シミュレーションと強化学習を統合して毎秒10万ステップ超で学習できる高速フレームワークGalacticを提案し、50億ステップの大規模学習を実現した。
- 社会的協調を伴う物体再配置タスクにおける適応的協調マルチエージェント協調2023/6/1
2台のロボットが自己中心視点のみを用いて共同で食卓準備や片付けなどの長期タスクを行う「Social Rearrangement」を提案し、新しいパートナーとゼロショットで協調するための多様性を促す手法BDPを開発した。
- 屋内シミュレーションから屋外実環境へのゼロショット移動学習ナビゲーション2023/5/1
屋内シミュレーションのみで訓練した視覚ナビゲーション方策に、衛星地図や手描きスケッチなどの粗いコンテキストマップを与えることで、屋外の未知環境を数百メートルにわたり衝突なく移動できることを示した。
- 適応的スキル調整によるロボット移動マニピュレーション移動マニピュレーション2023/4/1
視覚運動スキルのライブラリと調整ポリシー、補正ポリシーを組み合わせ、シミュレーションで訓練した移動マニピュレーションを実世界のSpotロボットにゼロショットで適用し、長期的なタスクを高成功率で達成した。
- 画像で指定された物体へのナビゲーションナビゲーション2023/4/1
画像で指定された物体を探索・再同定・位置推定し、未知環境でロボットを目的地へ誘導するモジュール型システムを構築し、実機で88%の成功率を達成した。
- AutoNeRF: 自律エージェントによる暗黙的シーン表現の学習NeRF/探索2023/4/1
自律エージェントが未知環境を探索してNeRF学習用データを収集し、暗黙的な地図表現を構築する手法を提案。探索戦略の比較と下流タスクでの評価を行った。
- 身体性知能のための人工視覚皮質の探求:現状と展望VLA2023/3/1
身体性AI向けの視覚基盤モデルを17タスクで体系的に評価し、大規模データで学習したVC-1が平均的に優れるが万能ではないことを示し、適応で更なる性能向上を実現した。
- 盲目ナビゲーションエージェントの記憶に地図が創発するナビゲーション2023/1/1
視覚を使わず自己運動情報のみで強化学習したナビゲーションエージェントが、内部に環境の地図を暗黙的に構築し、未知環境でも高い成功率で賢く移動できることを示した。
- PIRLNav: 模倣事前学習と強化学習ファインチューニングによるObjectNavナビゲーション2023/1/1
人間のデモによる模倣学習で事前学習し、強化学習でファインチューニングする2段階手法を提案し、ObjectNavタスクで成功率65.0%を達成した論文。
- 実世界における物体へのナビゲーションナビゲーション2022/12/1
家庭環境6軒で古典・モジュラー・エンドツーエンドの意味的視覚ナビゲーション手法を比較し、モジュラー学習が90%の成功率を達成する一方、エンドツーエンド学習はシミュレーションから実世界で77%から23%に低下することを示した。
- 意味的スキル模倣によるクロスドメイン転移模倣学習2022/12/1
人間の動画など別ドメインのデモから「電子レンジを開ける」といった意味的スキルの系列を模倣し、ロボットの強化学習を加速する手法を提案。実世界の人間動画3分未満で長期的な調理タスクを学習できる。
- ViNL: 障害物を越える視覚ナビゲーションと歩行制御歩行2022/10/1
視覚ナビゲーション方策と視覚歩行方策を別々のシミュレータで独立に学習し、ゼロショットで組み合わせることで、四足ロボットが未知の屋内環境で障害物を避けながら目標地点へ移動できるようにした研究。
- VER: オンポリシー強化学習のスケーリングによる身体性再配置におけるナビゲーションの創発強化学習2022/10/1
異種環境でのバッチオンポリシー強化学習を効率的にスケールさせるVERを提案し、ナビゲーションやモバイルマニピュレーションタスクで大幅な高速化を実現した。
- Sim2Real再考:低忠実度シミュレーションがナビゲーションのSim2Real転移を向上させるsim2real2022/7/1
視覚ナビゲーションにおいて、シミュレーションの忠実度を上げるのではなく、実世界データでロボット運動の単純モデルを作る方が学習と汎化を改善することを大規模評価で示した。
- ZSON: マルチモーダル目標埋め込みによるゼロショット物体目標ナビゲーションナビゲーション2022/6/1
画像目標ナビゲーションで訓練したエージェントに言語目標を同じマルチモーダル埋め込み空間へ射影することで、報酬や実演なしに未知環境で任意の物体を探すゼロショット物体目標ナビゲーションを実現した。
- Habitat-Web:大規模な人間デモンストレーションから物体探索戦略を学習する模倣学習2022/4/1
ブラウザ経由で収集した8万件の人間デモで物体探索とピック&プレースを模倣学習し、強化学習を上回る効率的な探索行動を実現した大規模研究。
- 連続環境での指示誘導ナビゲーションのためのウェイポイントモデルナビゲーション2021/10/1
言語指示に従う連続環境ナビゲーション(VLN-CE)において、低レベル行動から連続ウェイポイント予測まで表現力を変えたモデルを比較し、実行時間と成功率のトレードオフを分析した上で、公開リーダーボードで成功率を4%向上させる新たな最先端を達成した。
- 動的障害物の追加でナビゲーションエージェントを頑健化:2021 iGibsonチャレンジ優勝手法のベンチマークナビゲーション2021/9/1
訓練時に動的障害物をシーンに追加するとテスト時の汎化性能が大きく向上し、画像拡張との併用やsim-to-sim転移への頑健性も示した。CVPR 2021 iGibsonチャレンジのInteractive Navigation部門で1位を獲得した手法。
- 補助損失と情報ボトルネックによる現実的なPointGoalナビゲーションナビゲーション2021/9/1
理想的な自己位置推定がない現実的なPointGoalナビゲーションで、補助損失と情報ボトルネックを用いて自己位置推定を学習し、ナビゲーション性能を向上させた研究。
- Habitat 2.0:家庭用アシスタントロボットの訓練プラットフォームsim2real2021/6/1
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
- 補助タスクと探索で実現するObjectNavナビゲーション2021/4/1
汎用的な学習エージェントに補助学習タスクと探索報酬を加えることで、地図を使わずにObjectNavの性能を大幅改善した研究。
- 完了時間で重み付けした成功率:動力学を考慮した移動ロボットナビゲーション評価指標ナビゲーション2021/3/1
移動ロボットのナビゲーション性能を評価する新指標SCTを提案し、複雑な動力学を持つエージェントの速さを適切に評価できることを示した。
- エピソード記憶を活用した画像ゴールナビゲーションの強化学習ナビゲーション2021/1/1
自己教師あり学習で状態埋め込みを獲得し、訪問済み状態をエピソード記憶に蓄えてアテンション機構で参照することで、RGB画像のみから画像ゴールへのナビゲーションを強化学習する手法を提案し、Gibsonデータセットで最先端性能を達成した。
- 限られたサンプルと計算資源でPointGoalナビゲーションエージェントを訓練する方法ナビゲーション2020/12/1
サンプル数やGPU時間の予算制約下でPointGoalナビゲーションを訓練し、優勢推定や視覚エンコーダ設計などの小さな設計選択が性能を大きく改善することを示した。
- ロボット埋め込み学習による脚式ロボットのナビゲーションスキル獲得歩行ナビゲーション/sim2real2020/11/1
複数の脚式ロボットのダイナミクスを考慮した階層的ナビゲーションポリシーを学習し、ロボット固有の埋め込みを最適化することで未知のロボットや実機への効率的な適応とsim-to-real転移を実現した。
- 身体性ナビゲーションエージェントのSim2Real転移のための双方向ドメイン適応sim2real2020/11/1
実世界とシミュレーションのギャップを双方向に埋める手法BDAを提案し、PointGoalナビゲーションで5kサンプルのみで約600kサンプル相当の性能を達成した。
- 視覚言語ナビゲーションのsim2real転移sim2real2020/11/1
シミュレーションで学習した視覚言語ナビゲーションエージェントを実機ロボットに転移し、サブゴールモデルとドメインランダム化で精度を検証した。
- 再配置:身体性AIへの挑戦身体性AI2020/11/1
物体を指定された状態に並べ替える「再配置」タスクを身体性AI研究の共通ベンチマークとして提案し、4つのシミュレーション環境と評価指標を示した論文。
- 見えないシーンを見る:部屋ナビゲーションのためのアモーダル意味地図学習ナビゲーション2020/7/1
家の建築パターンを学習し、視野外の部屋の位置・大きさ・形を推定する意味地図を生成して、目標部屋への点ナビゲーション方策を訓練する手法を提案した。
- 補助タスクでPointGoalナビゲーションの学習を高速化ナビゲーション2020/7/1
自己教師ありの補助タスクをアテンションで統合し、PointNavの学習を従来の5.5倍高速化した研究。
- ObjectNav再考:物体ゴールナビゲーションの評価指針物体ナビゲーション2020/6/1
未探索環境でラベル指定された物体を探して移動するObjectNavタスクについて、評価基準・エージェント身体仕様・環境特性の標準的な指針を整理し、CVPR2020のEmbodied AIワークショップでの実装例を示した合意文書。
- ナビゲーショングラフを超えて:連続環境における視覚と言語によるナビゲーション視覚言語ナビゲーション2020/4/1
環境を疎なパノラマグラフで表す従来の仮定を排し、連続3D環境で自然言語指示に従い低レベル行動を実行するナビゲーションタスクを構築し、既存手法の性能が大きく低下することを示した。
- Sim2Real予測性:シミュレーション評価は実世界性能を予測できるかsim2real2019/12/1
同一コードをシミュレーションと実機で実行できるライブラリHaPyを開発し、PointGoalナビゲーションで9モデルの並行実験を行い、シミュレーション性能と実機性能の相関(SRCC)を定量化した。
- 幻を追う:ベイズ状態追跡としての指示追従VLA2019/7/1
視覚言語ナビゲーション(VLN)において、指示を期待される観測と行動の系列と解釈し、ベイズ状態追跡の枠組みでゴール位置推定を行う微分可能なベイズフィルタを提案した論文。
- Habitat:身体性AI研究のための高速フォトリアル3Dシミュレーション基盤sim2real2019/4/1
フォトリアルな3D環境で身体性エージェントを高速に訓練・評価できるシミュレータHabitat-SimとAPIライブラリHabitat-APIを開発し、学習vsSLAMの再検証やクロスデータセット汎化実験を行った。
- 身体性を活かした視覚認識:遮蔽物越しの物体理解のための能動的移動学習身体性視覚認識2019/4/1
3D環境内でエージェントが戦略的に移動しながら遮蔽された物体を分類・位置推定・セグメンテーションするEmbodied Visual Recognitionタスクを提案し、Embodied Mask R-CNNで最短経路とは異なる戦略的移動を学習できることを示した。
- 身体性を伴うマルチモーダル・マルチタスク学習マルチモーダル学習2019/2/1
言語条件付き視覚ナビゲーションと身体性質問応答を同時に学習し、単語と視覚対象の対応知識をタスク間で転移するDual-Attentionモデルを提案した。
- 視覚的好奇心:質問を通じて視覚認識を学ぶVLA2018/10/1
ロボットが未知の物体について人間に質問し、その回答から視覚認識モデルを強化学習で構築するフレームワークを提案した論文。
