Martin Riedmiller
Vesoma
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- VioLA: 人間のデータから汎用人型制御ポリシーを学習VLA2026/10/8
関節コマンドではなく身体・手の動作潜在表現を予測する汎用人型ポリシーを提案し、人間の動作記録をそのまま学習に活用することで、タスク固有の微調整なしに実機で指示追従を実現した。
- EXIMO: VLMによるVLAポリシー探索のガイドVLA/強化学習2026/8/20
VLAポリシーの効率的なファインチューニング手法EXIMOを提案。VLMをプランナーとして使い、長期的なタスクを分解してデータ収集し、模倣学習とオフポリシーRLで最適化する。
- DemoStart: 実演主導の自動カリキュラムによる多指ロボットのsim-to-realsim2real2024/9/1
シミュレーションでの少数の実演と疎な報酬のみから、3本指ロボットハンドの複雑なマニピュレーション行動を自動カリキュラム強化学習で獲得し、ゼロショットで実機に転移させる手法を提案した。
- ゲーム開始:言語モデルを強化学習の実験者として活用するVLA2024/9/1
VLMを用いて強化学習の実験サイクルを自動化し、タスク提案・スキル分解・カリキュラム構築を行うエージェントアーキテクチャを提案した。
- 自己中心視覚と深層強化学習によるロボットサッカーの学習マルチエージェント強化学習2024/5/1
自己中心的なRGB視覚のみを入力とし、関節レベルの行動を出力するマルチエージェントロボットサッカーの方策を深層強化学習で訓練し、シミュレーションから実機へ転移することに成功した。
- オフラインActor-Critic強化学習の大規模モデルへのスケーリング強化学習2024/2/1
オフラインActor-Critic強化学習がTransformerなどの大規模モデルにスケールし、132の連続制御タスクで行動クローニングを上回ることを示した研究。
- 流体を含む剛体の実機制御のための深層強化学習sim2real2024/2/1
流体と剛体が相互作用する実機ベンチトップ実験系「Box o Flows」を構築し、モデルフリー強化学習やオフライン強化学習で複雑な制御行動を獲得できることを示した。
- 実機ロボットでの大規模反復強化学習による多様な形状の積み重ね習得マニピュレーション2023/12/1
実機ロボットの自己生成データのみを用い、オフポリシー学習とオンライン/オフライン反復スキームでデータ効率を高め、ピクセルから直接エンドツーエンドで多様な形状の積み重ねを学習した。
- 少ないほど豊か:マルチタスク強化学習のためのディスパッチャ/エグゼキュータ原理強化学習2023/12/1
マルチタスク強化学習において、制御器をタスク理解部(ディスパッチャ)とデバイス制御部(エグゼキュータ)に分割し、強い正則化通信路で結ぶ設計原理を提案。データ効率と汎化性能の向上を目指す。
- 実験をまたぐリプレイ:オフポリシーRLの自然な拡張強化学習2023/11/1
過去の実験で得た経験データを再利用して探索と学習を効率化するRaEを提案し、歩行やマニピュレーションなど複数の制御タスクで性能と研究効率の向上を示した。
- オフライン強化学習の汎化のための同変データ拡張オフライン強化学習2023/9/1
状態空間の並進変換に対する同変性を利用してデータセットを拡張し、オフライン強化学習エージェントの分布外目標への汎化性能を向上させる手法を提案した。
- 多目的方策最適化による強化学習における方策合成強化学習2023/8/29
既存の教師方策を追加の目的として多目的方策最適化に組み込み、エージェントが教師方策を逐次的・並列的に合成してタスクを解けるようにした研究。
- Real Robot Challenge 2022:実世界のオフラインデータからの巧みな操作の学習マニピュレーション2023/8/1
実機ロボットのデータセットを用いたオフライン強化学習により、押す・掴む・手内操作を含む巧みな操作タスクを学習する競技会を開催し、勝利チームの手法と最先端アルゴリズムのベンチマークを比較した。
- 基盤モデルによる統合エージェントに向けてVLA2023/7/1
言語モデルを強化学習エージェントの中核推論ツールとして組み込み、探索・経験再利用・スキルスケジューリング・観察学習を単一フレームワークで扱えることを示した研究。
- RoboCat: ロボットマニピュレーションのための自己改善型汎用エージェントマニピュレーション2023/6/1
多様なロボットとタスクの経験を活用し、新しいスキルや機体に適応できる汎用マニピュレーションエージェントRoboCatを提案。自己生成データによる改善ループも示す。
- 制御のための汎用ダイナミクスモデル制御/モデルベース強化学習2023/5/1
Transformerをダイナミクスモデルとして用い、未知環境への少数ショット・ゼロショット汎化性能を実証し、制御の基盤モデルとしての可能性を示した。
- ロボティクス領域における計画と高速学習のためのジャンピーモデルの活用モデルベース計画2023/2/1
ラベルなし経験からスキル埋め込みとマルチステップ予測モデルをオフライン学習し、計画や強化学習に活用して長期タスクのゼロショット汎化と学習高速化を実現した。
- SkillS: 効率的な時間拡張探索のための適応的スキルシーケンシング強化学習2022/11/1
既存の時間拡張スキルを探索のためにシーケンス化し、最終方策は生の経験から直接学習することで、迅速な適応と効率的なデータ収集を実現する手法を提案。
- Q学習による連続制御の解決連続制御2022/10/1
バンバン動作の離散化と価値分解を組み合わせ、単一エージェント制御を協調型マルチエージェント強化学習として捉えることで、シンプルなQ学習が連続制御タスクでアクター・クリティック法に匹敵する性能を達成することを示した。
- MO2: モデルベースオフラインオプション強化学習/オプション発見2022/9/1
過去の経験からボトルネック状態で切り替わる有用な行動(オプション)をオフラインで発見し、新しいタスクへ転移して探索と価値推定を改善する手法を提案する。
- オフポリシー強化学習におけるガウス混合批評家の再検討:サンプルベース手法強化学習2022/4/21
C51批評家のビン設定や値域の事前知識が不要なガウス混合分布批評家とサンプルベース損失を提案し、連続制御タスクで最先端性能を達成した。
- バンバン制御だけで十分?ベルヌーイ方策による連続制御の解法連続制御2021/11/1
連続制御の強化学習で、各行動次元の極値のみを選ぶベルヌーイ方策(バンバン制御)が複数のベンチマークで最先端性能を達成することを示し、探索と学習の影響を模倣学習で分離して分析した論文。
- モデルベース計画とプランナ償却の連続制御における評価モデルベースRL2021/10/1
モデル予測制御とモデルフリー方策学習を組み合わせ、難しい移動タスクでデータ効率と性能を評価し、計画計算を方策に蒸留できることを示した。
- ピックアンドプレースを超えて:多様な形状の物体のロボット積み重ねへの挑戦マニピュレーション2021/10/1
複雑な形状の物体をロボットで積み重ねる課題に対し、強化学習と視覚ベースの対話型方策蒸留、sim2real転移を組み合わせた手法を提案し、実世界で多様な積み重ねスキルを実現した。
- 好奇心だけでは足りない?好奇心探索から生まれる創発行動の有用性強化学習2021/9/1
好奇心ベースの探索で学習中に生じる行動をスナップショットとして保持し、関連タスクへの転移に再利用できることを示した研究。
- マルチオブジェクティブ方策最適化による強化学習の改善:オフラインRLとファインチューニングの事例研究強化学習2021/6/1
強化学習の補助目的を多目的最適化問題として捉え、線形スカラー化に代わる新アルゴリズムDiMEを提案。オフラインRLとファインチューニングで既存手法を上回る性能を示した。
- 表現が重要:ロボティクスにおける知覚と探索の改善表現学習2020/11/1
3Dブロックの持ち上げ・積み上げ・押し出しタスクで、学習済み・手設計の複数の表現をエージェント入力と補助タスクの2用途で比較し、次元数・観測性・分離性の観点から「良い表現」の性質を体系的に評価した論文。
- 「何を」解くかに焦点を当てた未把持ペグ挿入タスクのゼロからの学習マニピュレーション2020/10/1
自由に回転する非対称ペグを把持せずに挿入する高難度の劣駆動タスクを、補助制御と階層方策最適化を組み合わせたマルチタスク強化学習でシミュレーションと実機の両方でゼロから解決した。
- 多様な脚型ロボットに共通適用できる汎用的な移動スキル学習フレームワーク歩行2020/8/1
二足・三足・四足・六足や車輪型を含む9種類のロボットに対し、ハイパーパラメータと報酬定義を共通化したオフポリシー強化学習で、機体固有の調整なしに多様な移動スキルを学習できることを示した。
- データ効率の良い後知恵オフポリシー・オプション学習強化学習2020/7/1
軌跡からオプション選択を推論し動的計画法の推論を逆伝播することで、全ポリシー構成要素をオフポリシーかつエンドツーエンドに学習するHO2を提案し、生ピクセル入力の3Dロボット操作タスクで有効性を示した。
- 多目的方策最適化の分布的アプローチ多目的強化学習2020/5/1
複数の競合する目的をスケール不変な選好で扱える多目的強化学習アルゴリズムを提案し、目的ごとの行動分布を学習してパラメトリック方策に統合、高次元ロボティクスタスクで有効性を示した。
- 探索のためのシンプルセンサー意図強化学習/探索2020/5/1
生のセンサー入力から直接計算できる補助タスク「シンプルセンサー意図」を提案し、実機ロボットアームが把持・持ち上げやボールインナカップをゼロから学習できることを示した。
- 成功した行動を続けよう:オフライン強化学習のための行動モデリング事前分布オフライン強化学習2020/2/1
オフライン強化学習において、過去に実行され成功しやすい行動へ方策を誘導するアドバンテージ重み付き行動モデル(ABM)を提案し、連続制御や実ロボットのマルチタスク学習で改善を示した。
- ハイブリッド制御のための連続・離散強化学習強化学習2020/1/1
離散行動と連続行動が混在するロボット制御問題を、両者を同時に最適化するハイブリッド強化学習でネイティブに解き、専門家ヒューリスティクスを排除する利点をシミュレーションと実機で示した論文。
- 想像上の価値勾配:転移可能な潜在ダイナミクスモデルによるモデルベース方策最適化モデルベースRL2019/10/1
視覚と固有感覚から環境の予測モデルを学習し、想像上の軌跡に沿った価値勾配で方策を最適化することで、ロボット操作タスクへの転移を高速化する手法を提案した論文。
- 階層強化学習における合成的転移階層強化学習2019/6/1
複数タスク間でデータを共有する階層的方策最適化手法RHPOを提案し、実機ロボットの積み木タスクでデータ効率と性能の大幅な向上を示した。
- 実機でボールインナカップを実現する視覚と特徴量に基づく制御方策の同時学習強化学習2019/2/1
訓練時のみ利用可能な特徴量を使う補助タスクを併用したマルチタスク強化学習により、実機ロボットで視覚ベースのボールインナカップ制御方策をシミュレーションからの転送や模倣学習なしでゼロから高速に学習できることを示した。
- 連続制御のための画像埋め込みの自己教師あり学習自己教師あり学習2019/1/1
報酬なしの自己教師あり学習で汎用的な画像埋め込みと制御プリミティブを獲得し、モデルフリーとモデルベースを橋渡しする状態行動価値関数の新構造を提案した論文。
- 最大事後確率方策最適化強化学習2018/6/1
相対エントロピー目的関数の座標上昇に基づく新しい強化学習アルゴリズムMPOを提案し、連続制御でサンプル効率と安定性に優れることを示した。
- 遊びながら学ぶ:スパース報酬タスクをゼロから解く強化学習/マニピュレーション2018/2/1
複数のスパース報酬信号のもとで、補助タスクを能動的にスケジューリングしながらオフポリシー強化学習で複雑なロボット操作行動をゼロから学習する手法SAC-Xを提案した。
- 位置・速度エンコーダによる構造化状態表現の教師なし学習表現学習2017/5/1
画像からタスク関連物体の位置と速度を教師なしで符号化するPVEを提案し、物理世界の事前知識に基づく整合性で学習、複数のシミュレーション制御タスクで有効性を予備的に示した。
- 器用な操作のためのデータ効率の良い深層強化学習マニピュレーション2017/4/1
DDPGを改良してデータ効率とスケーラビリティを高め、シミュレーション上で物体を掴んで積み重ねる器用な操作ポリシーを学習できることを示した論文。
- 変調された運動制御器の学習と転移歩行2016/10/1
脊髄様の低レベルネットワークを単純タスクで事前学習して固定し、高レベル皮質様ネットワークがその入力を変調して複数の運動タスクを学習・転移する手法を提案。
- ロバストなRGB-D物体認識のためのマルチモーダル深層学習マルチモーダル認識2015/7/1
RGBと深度を別々のCNNで処理し後段で統合するRGB-D物体認識手法を提案し、不完全なセンサデータに強い学習法と深度画像のデータ拡張で実環境でも高精度を実現した。
- 深層強化学習によるAtariゲームの攻略深層強化学習2015/2/24
生のピクセル入力からQ学習を深層ニューラルネットで近似し、Atariゲームを人間並みにプレイできることを示した論文。
