Dinesh Jayaraman
University of Pennsylvania
収録論文 52本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 検索ガイダンスによるゼロショットVLA適応VLA2026/11/7
ドメイン不一致の実演データセットから検索した軌道を幾何校正と粗密検索で変換し、フローマッチング推論を誘導することで、VLAモデルを再学習せずに新環境へ適応させる手法を提案した。
- RoboReason:ロボティクス向けVLM推論を強化するスケーラブルなデータ生成VLM2026/10/24
ステレオ・手首カメラ画像を用いた時空間順序付けタスクでVLMの推論を評価し、自律的な学習データ生成パイプラインによる教師あり微調整と強化学習で性能を大幅に改善した論文。
- LEMCA: LLMによる効率的なモード切替制御アーキテクチャの合成制御アーキテクチャ/LLM2026/9/18
LLMを進化的ループで用いて、制御モードとリソース配分、モード遷移を自動設計し、単一構成の制御より効率的なモード切替制御を合成する手法を提案。
- IMLE-VLA:Vision-Language-Actionポリシーのための高速単一ステップ行動生成VLA2026/9/10
拡散・フローマッチング型の反復サンプリング行動ヘッドをcIMLEによる単一ステップ生成器に置き換え、推論を最大3.67倍高速化しつつLIBEROで98.0%の成功率を達成したVLAポリシー。
- LENS: LLMによる環境簡略化ガイドによるクラッタ環境での計画と制御マニピュレーション2026/7/1
LLMを用いてシーン内の物体をタスクに応じて統合・削除し、動的な抽象化を自動生成することで、既存の計画・制御手法の性能をクラッタ環境で向上させる手法を提案した。
- シーングラフによるロボット模倣学習の空間・時間的文脈拡張模倣学習2026/6/1
模倣学習にシーングラフを動的メモリとして用い、部分観測環境での長期的推論と汎化性能を向上させる手法を提案した。
- OmniGuide:汎用ロボットポリシーを強化する万能ガイダンス場VLA2026/3/1
3D基盤モデルやVLMなどの多様なガイダンスを微分可能なエネルギー関数として表現し、VLAモデルの行動サンプリングを誘導することで、複雑な操作タスクの成功率と安全性を向上させるフレームワーク。
- TiPToP: 計画を行うモジュラーなオープン語彙ロボットマニピュレーションシステムマニピュレーション2026/3/1
事前学習済み基盤モデルとGPU加速タスク・モーションプランナを組み合わせ、RGB画像と言語から直接ロボット操作を計画・実行するモジュラーシステムを提案。訓練データ不要でVLAを上回る成功率と速度を達成。
- Tether: 対応関係駆動の軌道ワーピングによる自律的機能プレイ模倣学習2026/3/1
少数のデモから意味的キーポイント対応を用いてアクションをワープするオープンループポリシーを提案し、それを用いて実世界で自律的にマルチタスクのプレイデータを収集・改善する手法を紹介する。
- 実世界強化学習による能動的知覚行動の獲得マニピュレーション2025/12/1
訓練時のみ利用可能な特権センサを活用した非対称アドバンテージ重み付き回帰(AAWR)を提案し、部分観測下で情報収集する能動的知覚行動を実ロボットで効率的に学習させる手法を実証した。
- Maestro:視覚言語モデルでロボティクスモジュールを統合するゼロショット汎用ロボットVLA2025/11/1
VLMコーディングエージェントが知覚・計画・制御モジュールを動的に組み合わせてプログラム的政策を生成し、ゼロショットで汎用ロボットを実現する手法を提案。
- TimeRewarder:受動的動画からフレーム間時間距離で密報酬を学習強化学習/報酬設計2025/9/1
フレーム間の時間距離をモデル化し、ロボット実演や人間動画からタスク進捗を推定して強化学習の密報酬を生成する手法を提案。
- RICL: 事前学習済み視覚-言語-行動モデルへの文脈内適応性の付与VLA2025/8/1
模倣学習で事前学習されたVLAモデルに、少数の実演データを用いた追加学習で文脈内学習能力を後付けし、パラメータ更新なしで新しいマニピュレーションタスクを教えられるようにした。
- VLMgineer: 視覚言語モデルをロボットの道具職人にVLA2025/7/1
視覚言語モデルのコード生成と進化的探索を組み合わせ、タスクを解くための物理ツールとその操作計画を自動で共設計するフレームワークを提案し、日常的な操作タスクの新ベンチマークで有効性を示した。
- RoboArena:汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- 条件を揃えた比較:クアッドロータ軌道追従における古典制御と学習制御の公平な評価制御・強化学習2025/6/1
クアッドロータの軌道追従において、強化学習と幾何学制御を公平に比較するための実験プロトコルを提案し、従来の比較にあった非対称なバイアスを解消した結果、両者の性能差は従来報告より小さいことを示した。
- ZeroMimic: Web動画からロボット操作スキルを蒸留模倣学習2025/3/1
人間の一人称視点動画データセットから、多様な物体や未知の環境で即時展開可能な画像ゴール条件付き操作スキルポリシーを生成するシステムを提案。
- Eurekaverse:大規模言語モデルによる環境カリキュラム生成sim2real2024/11/1
大規模言語モデルを用いて、四足ロボットのパルクール学習のための難易度が漸進的に上がる環境を自動生成する手法を提案し、実世界への転移に成功した。
- 視覚運動制御のためのタスク指向階層的物体分解マニピュレーション2024/11/1
物体や部品ごとに表現を階層的に分解し、タスクに応じて組み合わせることで、模倣学習の効率と汎化性能を高める手法HODORを提案した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- 対称性を活用した自由飛行ロボットの軌道追従制御器の学習加速制御/強化学習2024/9/1
浮遊ベースを持つロボットのリー群対称性を利用し、MDP準同型に基づいて低次元の商MDPで学習した方策を元の系の最適追従制御器に持ち上げる手法を提案し、PPOによる3系の実験で学習加速と追従誤差低減を示した。
- DrEureka: 言語モデルが導くSim-to-Real転送sim2real2024/6/1
大規模言語モデルを活用し、報酬関数とドメインランダム化を自動設計することで、四足歩行や器用な操作のシミュレーションから実機への転送を人手を介さず実現した研究。
- 特権センシングによる強化学習の足場づくり強化学習2024/5/1
訓練時のみ利用可能な高価なセンサ情報を批評家や世界モデルなどの補助要素に活用し、安価なセンサのみで動作する方策を効率的に学習する手法「Scaffolder」を提案。
- 汎用事前学習済みViTを物体中心シーンエンコーダとしてマニピュレーション方策に転用マニピュレーション2024/5/1
汎用の事前学習済みVision Transformerのアテンションから物体らしい領域を切り出し、追加学習なしで物体中心の埋め込み表現を生成するSOFTを提案し、マニピュレーション方策の性能を大幅に向上させた。
- 「何」と「どこ」の基盤モデルを組み合わせた物体中心表現によるロボティクス物体中心表現2024/4/1
セグメンテーションで物体の位置を特定し、事前学習済みモデルでその物体の特徴を記述することで、追加学習なしにロボット制御向けの物体中心表現を構築するフレームワークPOCRを提案。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- Transformerは物体間の空間関係を捉えられるか空間関係認識2024/3/1
物体間の空間関係を認識するベンチマークを提案し、Transformerの長距離注意を活用したRelatiViTが既存手法を大きく上回ることを示した。
- 模倣学習のための記憶整合型ニューラルネットワーク模倣学習2023/10/1
模倣学習において、訓練サンプルから離れた状態での誤差が蓄積する問題に対処するため、出力を記憶サンプル周辺の許容領域に制約するMCNNを提案し、様々なタスクで性能向上を実証した。
- Eureka: コーディングLLMによる人間レベルの報酬設計強化学習2023/10/1
GPT-4などのLLMを活用して報酬関数を自動生成・進化させ、強化学習で複雑なロボット操作タスクを人間専門家を超える性能で学習させる手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 万能視覚分解器:長期的操作を簡単にマニピュレーション2023/10/1
事前学習済み視覚表現を用いて、視覚デモンストレーションからサブゴールを自動検出し、長期的操作タスクの学習と汎化を容易にする手法を提案。
- LIV: ロボット制御のための言語-画像表現と報酬学習VLA2023/6/1
テキスト注釈付きの行動なし動画から、言語や画像ゴールで指定されたタスクに対する価値関数を暗黙的に学習する統合的な視覚言語表現・報酬学習手法LIVを提案し、ロボット制御の模倣学習や報酬設計で従来手法を上回る性能を示した。
- 探索のための目標計画強化学習2023/3/1
目標条件付き強化学習において、訓練時の目標設定を直接最適化することで探索を効率化する手法PEGを提案し、迷路探索やブロック積み上げタスクで有効性を示した。
- 学習されたメタコントローラによる動的把握マニピュレーション2023/2/1
強化学習でメタコントローラを学習し、動的把握における予測の先読み時間と計画の時間予算を適応的に調整することで、成功率を最大28%向上させた。
- ロボットにロボットを評価させる:方策学習のための例示ベース対話型報酬関数強化学習2022/12/1
ロボットがテーブルの脚を引っ張るなど対話的な行動でタスクの成否を評価する「対話型報酬関数」を提案し、強化学習の方策学習と実行時の検証に活用した。
- VIP: 価値関数の暗黙的事前学習による汎用視覚報酬と表現VLA2022/10/1
人間の動画から自己教師ありで視覚表現を事前学習し、未知のロボット操作タスクに対する密な報酬関数を生成する手法を提案。
- Long-HOT: 長期的な物体輸送のためのモジュール型階層的アプローチナビゲーション2022/10/1
長期的な探索とナビゲーションを必要とする物体輸送タスクを提案し、トポロジカルグラフと階層的方策を用いたモジュール型フレームワークで効率的に解決する。
- マルチビュー姿勢推定による視覚ベースの周辺防衛視覚ベース制御2022/9/1
防衛者が侵入者の状態を視覚から推定する必要がある周辺防衛ゲームを、フォトリアリスティックなシミュレータと実世界で研究し、ドメインランダム化を用いた深層学習による侵入者姿勢検出とマルチビュー統合で状態推定誤差を低減し、防衛戦略を適応させる手法を提案した。
- 火には火を以て制す:プライミングによるDNNのショートカット回避ロバスト学習2022/6/1
タスクに関連する入力特徴から粗い推定値を「プライミング」として与えることで、DNNがデータ分布の変化に弱い安易なショートカット解に陥るのを防ぐ手法を提案し、画像分類・連続制御・自動運転で有効性を示した。
- 自己を知る:ロボット認識による転移可能な視覚制御ポリシーsim2real2021/7/1
ロボットの既知情報を活用し、世界ダイナミクスとロボット固有ダイナミクスを分離したモジュール型モデルベースRLを提案。視覚操作スキルの新ロボットへのゼロショット転移を実現した。
- キーフレーム重視の視覚模倣学習模倣学習2021/6/1
専門家の行動変化点に対応するデモのキーフレームを重み付けして学習することで、画像ベースの連続制御や自動運転の視覚模倣学習の性能を改善した論文。
- 学習ベース知覚制御はロバスト制御の限界にどう影響されるかVLA2021/4/1
台車棒の視覚制御課題で、可観測性の制限や知覚ノイズが強化学習とH∞制御の性能・サンプル効率に与える影響を実験的に調べた。
- 視覚デモンストレーションからのモデルベース逆強化学習逆強化学習2020/10/1
事前学習した視覚ダイナミクスモデルを用い、人間の視覚デモのみからコスト関数を学習し、視覚モデル予測制御で物体操作を再現するフレームワークを実機で検証した。
- 模倣学習におけるコピーキャット問題への敵対的アプローチ模倣学習2020/10/1
部分観測下の模倣学習で、専門家の前の行動を真似てしまう「コピーキャット問題」を敵対的学習で解決し、性能を向上させた。
- 目標条件付き階層予測器による長期視覚計画視覚計画2020/6/1
目標情報を考慮した潜在空間予測器を階層的に組み合わせ、粗から細へと軌道を最適化することで、従来より長い視覚計画タスクを解けるようにした研究。
- DIGIT: ハンド内マニピュレーションのための低コスト・コンパクト・高解像度触覚センサの新設計触覚2020/5/1
多指ハンドに搭載可能な小型・低コスト・高解像度の視覚型触覚センサDIGITを開発し、深層学習ベースの制御器でガラスビー玉のハンド内操作を実現した。設計はオープンソース化されている。
- 形態非依存の視覚的ロボット制御視覚サーボ2019/12/1
ロボットの形状やカメラ位置の事前知識なしに、数秒の探索動作で視覚的な制御点を自己発見し、視覚サーボで制御する手法MAVRICを提案。
- 能動的観察補完による探索的見回し行動の創発能動的知覚2019/6/1
エージェントが不確実性を減らすように視覚観察を選択する強化学習手法を提案し、訓練した補完タスクを超えて汎用的な「見回し」行動が創発することを示した。
- REPLAB:ロボット学習のための再現可能な低コストアームベンチマークプラットフォームベンチマーク/マニピュレーション2019/5/1
約2000ドルで組み立てられる小型ロボットアーム・カメラ・作業空間のハードウェアスタックを提案し、把持タスクのベンチマーク(タスク定義・評価プロトコル・指標・92k試行データセット)を構築して既存手法のベースラインを評価した。
- 触覚で操る:深層予測モデルによる触覚ベース制御触覚2019/3/1
高解像度触覚センサと深層ニューラルネットのダイナミクスモデルを組み合わせ、生の触覚入力から触覚サーボを教師なしで学習する枠組みを提案し、ボールやサイコロなどを目標触覚状態へ操作できることを示した。
- 感覚だけじゃない:視覚と触覚で学ぶ把持と再把持マニピュレーション2018/5/1
視覚と触覚の生データから把持調整の結果を予測し、効率的に把持を繰り返し調整する深層マルチモーダルモデルを提案した論文。
- 跳ぶ前に見通せ:動きの効果を予測するエンドツーエンド能動認識能動認識2016/5/1
移動エージェントが自ら視点を変えて物体認識する能動認識を、RNNで方策ごとエンドツーエンド学習し、動きが内部表現に与える影響の予測も同時学習することで認識性能が向上することを示した。
