Dhruv Shah
収録論文 64本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RAFT: 推論整合ファインチューニングによるVLAポストトレーニングのロバスト性向上VLA2026/11/3
タスク関連の推論アノテーションで低ランクアダプタを学習してから固定し、行動デモでポリシーを微調整する2段階手法RAFTを提案。実機ロボットで分布外成功率を27.9%から75.0%へ大幅改善した。
- 行動影響最大化による制御可能なワールドモデルの学習ワールドモデル2026/10/19
専門家デモのみで学習した動画生成ワールドモデルが指示行動を無視する問題を、データの行動影響度の上限として解析し、その影響度を能動的に高めるデータ収集アルゴリズムAIMを提案。操作タスクで少ないデータ量でも制御性を大幅改善。
- WorldOracle: 実世界実行と比較する行動条件付き世界モデルのベンチマーク世界モデル2026/10/13
同じ初期観測と行動列に対し、行動条件付き世界モデルの予測が実世界の物理的結果やタスク状態遷移を再現できるかを評価するベンチマークを提案。
- 行動自己蒸留による汎用ナビゲーション方策の学習ナビゲーション2026/10/13
人間による言語アノテーションなしで、VLMを教師兼生徒として使い、特権的な軌跡フィードバックから言語条件付きナビゲーション方策を自己蒸留で学習する手法を提案。
- EgoLAP: 言語-行動推論による一人称視点の人間データからの学習VLA2026/10/6
人間の一人称視点の軌道を、言語による行動連鎖推論を介してロボット制御に転移させるVLA事前学習フレームワークを提案し、実世界タスクで大幅な性能向上を達成した。
- EmbodiedSWE:長期的器用ロボティクスのためのコーディングエージェントVLA2026/9/23
コーディングエージェントが長期的・器用なロボットタスクを解き、その解を多様な軌道に拡張してVLAを訓練し、実機タスクまで完了できることを示した研究。
- TANGO: 雑然環境における全身視覚言語行動モデルを用いた人型ロボットナビゲーションナビゲーション2026/9/8
雑然とした屋内環境での人型ロボットナビゲーションを、言語指示と視覚情報から全身の関節動作を直接予測するフレームワークTANGOを提案。シミュレーションで学習し、実機にゼロショット適用可能。
- Mixture-of-Experts VLAにおける創発的な構成スキルVLA2026/7/1
専門家デモからロボットポリシーをエンドツーエンドで学習する際、Mixture-of-Expertsアーキテクチャを用いることで、タスク分解や階層構造を事前に定義せずとも、再利用可能で解釈可能なプリミティブが創発的に獲得されることを示した論文。
- RoboVista:多様なロボット応用のための視覚言語モデル評価VLM評価2026/7/1
ロボットの多様な応用における視覚言語モデル(VLM)の能力を評価するためのモジュール型フレームワークとベンチマークを提案し、実ロボット実験でその有効性を示した。
- 汎用ロボットにおけるオーケストレーションギャップへの物理的主体性による対処ロボット制御2026/7/1
汎用ロボットの能力を、学習済みのポリシーと高レベルのオーケストレーターに分解し、追加学習なしで複雑なタスクを解決する手法を提案した。
- ロボットポリシー編成における重要要素:階層型VLAエージェントの体系的研究VLA/階層制御2026/6/9
階層型VLAシステムの設計原則を体系的に研究し、プランナーとコントローラの選択や接続方法などが性能に与える影響を分析。導出した原則に基づくシステムが、フラットなVLAや素朴な階層構造より優れることをシミュレーションと実機で示した。
- 視覚検証による推論時制御と自律的なポリシー改善ロボット学習2026/6/1
汎用ロボットポリシーに視覚検証器を組み合わせ、推論時に行動を評価・選択することで追加学習なしで性能を向上させ、さらに検証済み軌道で微調整して自律的に改善する手法を提案した。
- RAVEN: 視覚・空間・時間メモリによる長期的推論とナビゲーションナビゲーション2026/6/1
ロボットの長期運用向けに、視覚特徴と位置・時刻をベクトルDBに保存し、空間マップで検索するメモリシステムRAVENを提案。画像を直接扱うことで高精度かつ低コストな長期QA・ナビゲーションを実現し、実機でも検証した。
- WorldArena 2.0:モダリティ・機能・プラットフォームにわたる身体化ワールドモデルベンチマークの拡張ベンチマーク2026/5/1
身体化ワールドモデルの評価を、視覚のみから視触覚へ、政策評価から強化学習環境としての利用へ、シミュレータから実ロボットへと拡張したベンチマークを提案した。
- 訓練データに基づくロボット汎化の接地:検索拡張型VLMによるアプローチロボット操作/汎化評価/VLM2026/3/1
ロボット操作の評価タスクを訓練データと比較し、どのような汎化が必要かを分類するフレームワークRADARを提案した。
- MolmoB0T: 大規模シミュレーションによるゼロショット操作の実現操作2026/3/1
大規模で多様なシミュレーションデータのみを用いて、実世界へのゼロショット転移が可能であることを示し、静的・移動操作の両方で有効なポリシーを訓練した。
- BPP: 重要な履歴フレームに注目した長文脈ロボット模倣学習模倣学習2026/2/1
視覚言語モデルで検出したタスクに関連するキーフレームのみを条件とすることで、履歴に依存するロボットタスクの模倣学習を安定化させ、実世界タスクで成功率を大幅に向上させた。
- LAP: 言語-行動事前学習によるゼロショットの異機体転移VLA2026/2/1
ロボットの低レベル行動を自然言語で表現して事前学習することで、未知のロボット機体にもファインチューニングなしでゼロショット転移できるVLAモデルLAP-3Bを提案した。
- WorldArena:身体性世界モデルの知覚と機能的実用性を評価する統合ベンチマーク世界モデル2026/2/1
身体性世界モデルを映像知覚品質と下流タスクでの機能的実用性の両面から評価する統合ベンチマークWorldArenaを提案し、14モデルの実験から知覚と機能の間に大きなギャップがあることを示した。
- AsyncVLA:エッジ上での高速・堅牢なナビゲーションのための非同期VLAVLA2026/2/1
大規模基盤モデルを遠隔ワークステーションで動かし、軽量なオンボードアダプタが高頻度で動作を補正する非同期制御フレームワークを提案し、最大6秒の通信遅延下でも高いナビゲーション成功率を実現した。
- VeoワールドシミュレータによるGeminiロボティクスポリシーの評価sim2real2025/12/1
最先端の動画生成モデルVeoを基盤とした生成評価システムを構築し、ロボットポリシーの通常性能から分布外汎化、物理・意味的安全性までをシミュレーションで評価できることを示した。
- PolaRiS: 汎用ロボットポリシーのためのスケーラブルな実世界→シミュレーション評価sim2real2025/12/1
実世界の短い動画スキャンからニューラル再構成で高忠実度なシミュレーション環境を構築し、汎用ロボットポリシーを実世界と強く相関する形で評価できるようにしたフレームワーク。
- 3D生成AIと視覚言語モデルによるテキストからの多部品ロボット組立ロボット組立2025/11/1
3D生成AIと視覚言語モデルを組み合わせ、自然言語から多部品オブジェクトをロボットで組み立てるパイプラインを提案。VLMが形状と機能を推論して部品割り当てを行い、ユーザーは対話的に修正できる。
- 物体目標ナビゲーションのための強化学習手法で重要な要素は何か?実証研究と統合フレームワーク物体目標ナビゲーション2025/10/1
物体目標ナビゲーションの強化学習システムを認識・方策・テスト時強化の3要素に分解し、大規模実験で各要素の影響を分析。認識とテスト時戦略の改善が方策改善より効果的であることを示し、統合フレームワークを提案。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- データ駆動型社会ロボットナビゲーション指標のベンチマークに向けて社会ナビゲーション2025/9/1
社会ロボットナビゲーションのベンチマークと政策最適化のためのデータ駆動型指標を開発し、4427件の軌道データセットを収集・評価して、学習済み指標SN26を提案した。
- OmniVLA:ロボットナビゲーションのためのオムニモーダル視覚言語行動モデルVLA2025/9/1
2D姿勢・自己中心画像・自然言語などの複数のゴール指定をランダムに融合して学習し、未知環境への汎化や新しい言語指示への追従を可能にしたナビゲーション用VLAモデルを提案。
- CAST: 反事実ラベルによる視覚言語行動モデルの指示追従性向上VLA2025/8/1
視覚言語モデルを用いて既存のロボットデータセットに反事実ラベルを付与し、言語指示への追従性能を向上させる手法を提案。
- 知覚と行動をつなぐ:ロボットの汎化のための空間的に接地された中間表現マニピュレーション2025/6/1
物体中心性・姿勢認識・深度認識という中間表現を専門家エンコーダで学習し、その混合専門家ポリシーで実世界の両手巧み操作タスクの汎化性能を向上させた研究。
- モデルベース再アノテーションによるどこでも走行学習ナビゲーション2025/5/1
クラウドソースの遠隔操作データや未ラベルのYouTube動画を、学習したモデルベース専門家で再ラベル付けし、長距離ナビゲーション方策LogoNavを訓練して未知環境でのロバストな走行を実現した。
- 因子分解スケーリング曲線によるデータ収集の指針模倣学習2025/5/1
データ量に対する性能変化を因子ごとに定量化する因子分解スケーリング曲線を構築し、限られた予算で最も影響力のある因子の組み合わせに絞ったデータ収集を可能にする手法を提案。
- 汎用ロボットマニピュレーション政策の評価のための分類体系マニピュレーション2025/3/1
ロボットマニピュレーションにおける汎化の種類を整理した分類体系STAR-Genを提案し、実世界ベンチマークで検証した。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 相互情報量推定によるロボットデモデータの品質選別模倣学習2025/2/1
ロボットの模倣学習データについて、状態と行動の相互情報量への各軌道の寄与をVAE埋め込みとk近傍推定で評価し、デモの品質を選別する手法を提案した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- STEER: 密な言語グラウンディングによる柔軟なロボットマニピュレーションマニピュレーション2024/11/1
自然言語で表現された基本的な操作スキルを密なアノテーションで学習し、それらを組み合わせて未見の状況や新規タスクに適応できるロボット学習フレームワークSTEERを提案。
- 実世界の視覚データから学習する走破性認識型脚式ナビゲーション歩行2024/10/1
脚式ロボットの制御器の価値関数に基づいて走破性コストをロボット中心に推定し、RGBDナビゲーション計画に統合して実世界で効率的に強化学習する手法を提案した。
- LeLaN: 実世界動画から言語条件付きナビゲーション方策を学習ナビゲーション2024/10/1
大規模視覚言語モデルとロボット基盤モデルを活用し、ラベルなし・行動なしの一人称視点動画から言語で指示された物体ナビゲーション方策を学習する手法を提案。1000回以上の実世界実験で既存手法を上回り、エッジ計算で4倍高速に推論可能。
- Gen2Act: 人間動画生成を活用した汎用ロボットマニピュレーションマニピュレーション2024/9/1
ウェブデータで学習した人間動画生成モデルを使い、生成された動画を条件にロボット方策を学習することで、未見物体や新規動作への汎化を実現した。
- Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- SELFI: 強化学習による社会ナビゲーションのための自律的自己改善社会ナビゲーション2024/3/1
オフラインのモデルベース学習で事前学習した方策を、オンラインのモデルフリー強化学習で微調整する手法を提案し、実環境での衝突回避と社会的配慮行動を改善した。
- 異なる身体を持つロボット間の学習限界を探る:操作とナビゲーションVLA2024/2/1
ナビゲーションと操作という異なるタスクのデータを同一の目標条件付きポリシーで共同学習させ、多様な機体間での転移や未知の機体へのゼロショット制御が可能かを検証した。
- 言語と行動の橋渡し:言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方(状態評価・方策条件・認知計画・統合VLA)で分類し、最新手法と課題を整理したサーベイ。
- GOAT: どこへでも行ける万能ナビゲーションシステムナビゲーション2023/11/1
カテゴリ・画像・言語で指定された目標へ移動できる、経験から学習し異なるロボットにも展開可能なナビゲーションシステムを提案し、実環境で83%の成功率を達成した。
- NoMaD: 目標マスク付き拡散ポリシーによるナビゲーションと探索ナビゲーション2023/10/1
単一の拡散ポリシーで目標指向ナビゲーションと目標非依存探索を統合し、未知環境での移動ロボットの性能と衝突率を改善した。
- 大規模言語モデルを活用したナビゲーション:計画のためのヒューリスティックとしての意味的推測ナビゲーション2023/10/1
言語モデルが持つ意味的知識を探索ヒューリスティックとして利用し、未知環境でのロボットナビゲーションを効率化する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- SACSoN: 社会的ナビゲーションのためのスケーラブルな自律制御社会的ナビゲーション2023/6/1
ロボットが人間の自然な行動を妨げないようにする「反事実的摂動」を最小化する方策を学習し、大規模な屋内ナビゲーションデータセットを構築して社会的ナビゲーションを実現した。
- ViNT: 視覚ナビゲーションのための基盤モデルナビゲーション2023/6/1
多様なロボットナビゲーションデータセットで訓練されたTransformerベースの基盤モデルViNTを提案し、未知環境でのキロメートル規模のナビゲーションや新タスクへの適応を可能にした。
- FastRLAP: 深層強化学習と自律練習による高速走行学習システム強化学習/ナビゲーション2023/4/1
小型RCカーが実世界で自律的に強化学習を行い、20分未満の訓練で攻撃的な走行スキルを獲得するシステムを提案。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 視覚ナビゲーションのためのオフライン強化学習ナビゲーション2022/12/1
既存のロボットナビゲーションデータセットを活用し、実世界でユーザー指定の報酬関数を最適化する初のオフラインRLシステムReViNDを提案。追加データ収集なしで遠方の目標へナビゲートできることを示した。
- 経験から学ぶロボットナビゲーション:原理・手法・最近の成果ナビゲーション2022/12/1
幾何学的な地図と計画に頼らず、実世界の経験からナビゲーションを学習する手法を統一的に整理し、設計原理と実験結果、今後の課題を論じた記事。
- GNM: あらゆるロボットを動かす汎用ナビゲーションモデルナビゲーション2022/10/1
6種類のロボットから集めた60時間の走行データを統合し、時間的文脈と標準化された行動空間を用いて、異なる機体や環境に広く汎化する目標条件付き視覚ナビゲーションモデルを学習した。
- ExAug: 幾何学的経験拡張によるロボット条件付きナビゲーションポリシーナビゲーション2022/10/1
異なるロボットのデータセットを点群ベースの幾何学的拡張で統合し、新しい機体でも汎用化できるナビゲーションポリシーを学習するフレームワークを提案。
- LM-Nav: 大規模事前学習モデルによる言語・視覚・行動を統合したロボットナビゲーションナビゲーション2022/7/1
言語・視覚・行動の大規模事前学習モデル(GPT-3、CLIP、ViNG)を組み合わせ、言語指示による実世界の長距離ナビゲーションを追加学習なしで実現した。
- ViKiNG: 地理的ヒントを用いた視覚ベースのキロメートル規模ナビゲーションナビゲーション2022/2/1
局所的な走行可能性モデルと地図などの地理的ヒントを活用するヒューリスティックプランナを組み合わせ、未学習環境で最大3km先の目標まで自律移動できる視覚ナビゲーション手法を提案した。
- 幾何コストと予測コストを統合したハイブリッド模倣プランニングによるオフロード走行オフロードナビゲーション2021/11/1
学習ベースの走行可能性予測と幾何ベースの障害物コストを自己教師ありで組み合わせ、オフロード環境での計画性能を両者単独より大幅に向上させた。
- 価値関数空間:スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 潜在ゴールモデルによる未知環境ナビゲーションの高速探索ナビゲーション2021/4/1
画像ゴールまでの距離と行動を潜在変数モデルで学習し、トポロジカルな画像メモリと組み合わせて、未知の障害物や天候の中でも80m先のゴールを20分以内に探索・到達する移動ロボットシステムを実現した。
- ViNG: 視覚ゴールによるオープンワールドナビゲーションの学習ナビゲーション2020/12/1
ゴール画像を指定して目的地へ移動するナビゲーションシステムViNGを提案し、実機の屋外移動ロボットで従来のゴール条件付き強化学習手法を上回る性能を示した。
- 力と位置のハイブリッドNMPCによる空中マニピュレーション:空中筆記への応用空中マニピュレーション2020/6/1
ロボットアーム付きドローン向けに、エンドエフェクタへの相互作用力を組み込んだハイブリッドNMPCを設計し、白板への空中筆記をミリメートル精度で実現した。
- 実世界ロボット強化学習の構成要素マニピュレーション2020/4/1
人手を介さず実世界データだけで継続的に自律学習できるロボット強化学習システムを提案し、三本指ハンドの器用な操作タスクで有効性を示した。
- 空中検査のための任意分布放射線源のロバストな位置推定空中検査2017/10/1
多層逐次モンテカルロ法とクラスタリングを組み合わせ、多数の点源や広がりを持つ放射線源の位置・数・分布・強度を推定するアルゴリズムを提案し、F1スコア0.95以上を達成した。
