Ruslan Salakhutdinov
収録論文 37本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Pixel-UMI:センサ付き人間デモンストレーションから環境認識型全身マニピュレーションを学習する全身マニピュレーション2026/11/2
人間のセンサ付きデモから環境を考慮した全身マニピュレーションポリシーを学習するパイプラインを提案し、リターゲティング誤差を考慮したマスキングとDAggerによる修正で5タスク平均87%の進捗を達成した。
- Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステムモバイルマニピュレーション2026/11/2
低コスト車輪型ヒューマノイド、遠隔操作と人間データ収集、全身制御、方策学習を一体設計し、言語条件付き視覚運動制御と長期タスク実行を実現したフルスタックシステムを提案。
- COWBOY: 文脈的全身体マニピュレーションを学習するスケーラブルなsim-to-realフレームワークsim2real2026/10/20
環境認識型の全身体コントローラと局所RL専門家を組み合わせ、点群から移動ベース・アーム・巧みな手・カメラを制御する単一の視覚ポリシーに蒸留し、実世界の多様なシーンでゼロショット把持を実現した。
- FACTR 2: コモディティロボットアームの外力センシング学習がポリシー学習を向上させる力覚推定/模倣学習2026/6/1
専用の力センサーを持たないロボットアームでも、データ駆動で外力トルクを推定するNEXTと、接触前後のデータを重点的に学習するFIRSTを組み合わせることで、力覚を活用した遠隔操作とポリシー学習を可能にした論文。
- FACTR: 接触の多いタスクのための力覚に注目させるカリキュラム学習マニピュレーション2025/2/1
力覚フィードバックを双方向テレオペで収集し、視覚入力を徐々に劣化させるカリキュラムで力覚に注目させる方策学習手法を提案。未見物体への汎化性能を43%向上させた。
- 局所ポリシーによるゼロショット長期的マニピュレーションsim2real2024/10/1
ロボットの絶対姿勢や物体配置に依存しない「局所ポリシー」を基盤モデルと組み合わせ、シミュレーションから実機へのゼロショット転移で最大8段階の長期タスクを実現した。
- Neural MP: 汎用ニューラル動作計画器動作計画2024/9/1
シミュレーションで大量の複雑シーンと専門家データを生成し、反応的な汎用方策へ蒸留して軽量最適化と組み合わせることで、実世界の動作計画を高速かつ高成功率で実現した。
- Embodied-RAG: 具現化エージェントのための汎用ノンパラメトリック記憶検索生成VLA2024/9/1
ロボットの探索で得たマルチモーダルな知識を階層的な「意味の森」として記憶し、ナビゲーションや言語生成に活用するRAGフレームワークを提案した。
- 状況依存型指示追従指示追従2024/7/1
人間がその場で発する曖昧で時間的に変化する指示を、過去の行動や文脈から解釈してロボットが実行する「状況依存型指示追従」を提案し、既存のEIFモデルが人間の意図を十分に理解できないことを示した。
- Plan-Seq-Learn: 言語モデルで誘導する強化学習による長期的ロボティクスタスクの解法VLA/強化学習2024/5/1
LLMの高レベル計画と運動計画を組み合わせ、事前定義されたスキルなしで強化学習を効率的に誘導し、最大10段階の長期的ロボティクスタスクを視覚入力から85%以上の成功率で解く手法を提案。
- 対照的な例ベース制御オフライン強化学習2023/7/1
高リターン状態の例から報酬関数を学習する代わりに、マルチステップ遷移の暗黙モデルを学習し、例ベース制御のQ値を表現するオフライン手法を提案。
- TAMPを視覚運動Transformerで模倣するOPTIMUS模倣学習2023/5/1
タスク・運動計画(TAMP)が自動生成した大規模デモデータを視覚運動Transformerで模倣し、多様な物体操作タスクを70〜80%の成功率で解くシステムOPTIMUSを提案。
- 自己教師あり物体ゴールナビゲーションと実環境でのオンライン微調整物体ナビゲーション2022/12/1
位置一貫性を自己教師信号として使うことで、ラベル付き3Dメッシュに頼らず物体ナビゲーションエージェントを学習し、実環境でのオンライン微調整も可能にした研究。
- 単一目的で表現・潜在空間モデル・方策を学習するモデルベース強化学習の簡素化モデルベースRL2022/9/1
潜在空間モデルと方策を単一の目的関数で自己整合的に学習し、モデルベースRLのサンプル効率を向上させる手法を提案した。
- 視覚的物体再配置のためのシンプルな手法:3Dマッピングと意味的探索マニピュレーション2022/6/1
セマンティックセグメンテーションとボクセル意味マップ、意味的探索方策を組み合わせ、視覚入力のみで物体を目標配置に並べ替える手法を提案し、強化学習ベースの従来法を大幅に上回った。
- SEAL: 探索と3D一貫性を用いた自己教師あり身体性能動学習自己教師あり学習2021/12/1
インターネット画像で学習済みの認識モデルを、3Dセマンティックマップと時空間一貫性によるラベル付けで自己教師あり適応させ、物体検出・セグメンテーションと物体目標ナビゲーションを同時に改善するフレームワークを提案。
- もうミスマッチはない:モデルベース強化学習のためのモデルと方策の同時最適化モデルベースRL2021/10/1
モデルの精度と方策性能の目的不一致を解消するため、モデルと方策を単一の目的関数で同時に学習する手法を提案し、連続環境で効率的に推定できる初の大域的下界を導出した。
- リカレントなモデルフリー強化学習は多くのPOMDPで強力なベースラインになり得るPOMDP/リカレントRL2021/10/1
リカレントネットワークを用いたモデルフリーRLの実装を丁寧に調整すると、POMDP向けの専用手法と同等以上に性能が出ることを21環境で示し、効率的な実装を公開した論文。
- パラメータ化行動プリミティブによるロボット強化学習の加速強化学習2021/10/1
ロボットの行動をパラメータ付きプリミティブのライブラリとして手動設計し、RLポリシーがその引数を学習することで、連続行動空間での探索を効率化し学習効率と性能を向上させた研究。
- 報酬の代わりに成功例でタスクを指定する強化学習強化学習2021/3/1
成功例の遷移から直接価値関数を学習し、報酬関数を介さずに将来の成功確率を最大化する制御アルゴリズムを提案した論文。
- PPOの勾配はなぜ裾が重いのか:ロバスト推定でクリッピングを置き換える強化学習2021/2/1
PPOの代理報酬の勾配が重裾分布になることを実証し、その原因が尤度比とアドバンテージにあると特定。3つのクリッピング手法を高次元ロバスト推定器GMOMで置き換え、MuJoCo連続制御で同等性能を達成した。
- 視覚ナビゲーションのための教師なしドメイン適応sim2real2020/10/1
シミュレーションで学習した視覚ナビゲーション方策を実世界に転移するため、ナビゲーション方策の表現と整合するよう目標ドメイン画像を源ドメインへ変換する教師なしドメイン適応手法を提案した。
- 目標志向セマンティック探索による物体目標ナビゲーション物体目標ナビゲーション2020/7/1
エピソード型セマンティックマップを構築し、目標物体カテゴリに基づいて効率的に探索するモジュール式システムを提案。未見環境での物体目標ナビゲーションで既存手法を上回り、実機ロボットにも転移可能なことを示した。
- ダイナミクス差異を補正する強化学習:ドメイン分類器による転移学習sim2real2020/6/1
ソースとターゲットの遷移を識別する補助分類器を学習し、その出力で報酬を修正することで、明示的なダイナミクスモデルなしにドメイン適応を実現する手法を提案した論文。
- 視覚ナビゲーションのためのニューラルトポロジカルSLAM視覚ナビゲーション2020/5/1
未知環境で目標画像の場所へ移動する画像ゴールナビゲーションのため、意味特徴を持つノードを粗い幾何情報で結ぶトポロジカル表現を構築・維持・利用する学習手法を提案した。
- 意味のあるタスク空間を弱教師あり学習で切り出す強化学習強化学習2020/4/1
弱い監督信号を用いて、無意味なタスクの巨大な空間から意味的に整合したタスク部分空間を自動的に分離する枠組みを提案し、探索効率と状態間距離の表現獲得を改善した。
- 能動的ニューラルSLAMによる探索方策の学習ナビゲーション2020/4/1
学習ベースSLAMと経路計画・大域/局所方策を階層的に組み合わせ、3D環境を効率的に探索する手法を提案し、シミュレーションで従来法を上回る性能を示した。
- 逆強化学習で履歴を書き換える:方策改善のための後付け推論マルチタスクRL2020/2/1
後付けの報酬付け替えが逆強化学習と等価であることを示し、それを用いて任意のタスククラスへ目標付け替えを一般化してマルチタスクRLの学習を加速した論文。
- 複数未来予測:潜在変数によるマルチモーダル軌道予測軌道予測2019/11/1
動的注意機構と潜在変数を用いて、複数エージェントの多様な未来軌道を確率的に予測するフレームワークを提案し、車両軌道データセットで最先端性能を示した。
- リプレイバッファ上の探索:計画と強化学習の橋渡し計画/強化学習2019/6/1
強化学習の価値関数を用いてリプレイバッファからグラフを構築し、長期的な目標到達タスクを計画と強化学習の組み合わせで解く手法を提案した論文。
- 状態周辺分布マッチングによる効率的な探索強化学習探索2019/6/1
強化学習の探索を状態周辺分布と目標分布の一致問題として定式化し、状態密度モデルと方策の二人零和ゲームとして最適化する手法を提案した論文。
- 身体性を伴うマルチモーダル・マルチタスク学習マルチモーダル学習2019/2/1
言語条件付き視覚ナビゲーションと身体性質問応答を同時に学習し、単語と視覚対象の対応知識をタスク間で転移するDual-Attentionモデルを提案した。
- ゲート付き経路計画ネットワーク経路計画2018/6/1
Value Iteration Networkを再帰畳み込みネットワークとして再解釈し、標準的なゲート付き再帰更新式を導入することで学習安定性と汎化性能を改善した経路計画モジュールを提案した。
- 深層強化学習のための構造化制御ネット強化学習2018/2/1
方策ネットワークを非線形制御と線形制御の2つのサブモジュールに分割する構造化制御ネット(SCN)を提案し、サンプル効率・最終報酬・汎化性能の向上をMuJoCoやAtariなどで示した論文。
- 注意機構付きリカレントネットワークによる大域姿勢推定SLAM2018/2/1
局所姿勢推定・姿勢選択・グラフ最適化を組み合わせた微分可能なニューラルネットワーク「Neural Graph Optimizer」を提案し、SLAMをエンドツーエンドで学習可能にした。
- 能動的ニューラル自己位置推定自己位置推定2018/1/1
信念伝播と方策を強化学習でend-to-endに学習し、少ないステップで正確に自己位置推定する手法を提案。2D/3Dのシミュレーション環境で有効性と汎化性能を示した。
- ゲート付き注意機構によるタスク指向言語グラウンディング言語グラウンディング2017/6/1
自然言語指示と生の画像入力から3D環境で行動するエンドツーエンドのニューラルネットを提案し、ゲート付き注意機構で言語と視覚を統合して強化学習・模倣学習で方策を学習する。
