Markus Wulfmeier
収録論文 41本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HuGo: ヒューマノイドの移動操作のための全身ポリシーコードを設計するLLMVLA2026/9/24
LLMがタスク記述から高レベルポリシーコードを生成し、ロールアウトで改良することで、報酬設計や実演なしにヒューマノイドの移動操作を実現する階層的手法を提案。
- EXIMO: VLMによるVLAポリシー探索のガイドVLA/強化学習2026/8/20
VLAポリシーの効率的なファインチューニング手法EXIMOを提案。VLMをプランナーとして使い、長期的なタスクを分解してデータ収集し、模倣学習とオフポリシーRLで最適化する。
- マルチエージェント強化学習による超人的で安全なアジャイルレーシングマルチエージェント強化学習2026/5/1
マルチエージェント強化学習を用いて、高速クアッドローターレースで人間のチャンピオンパイロットを上回る性能と安全性を両立させ、ゼロショットで人間との安全な相互作用を実現した。
- 視覚的ストーリーテリングのための具現化されたコンパニオンヒューマンロボットインタラクション2026/3/1
描画ロボットと大規模言語モデルを統合し、人間と機械が対話しながら共同で視覚的な物語を創り出す芸術的システムを提案した。専門家による評価で、独自の美的アイデンティティと展示価値が確認された。
- 実機ロボットのオンライン強化学習で重要な設計選択とは何か強化学習2026/2/1
3種類のロボットで100回の実機学習を行い、アルゴリズムやシステム、実験設計の各選択を系統的に検証し、安定した学習を実現する設計指針を明らかにした。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- 巧みな操作のための政策アイドリングの活用マニピュレーション2025/8/1
ロボットの巧みな操作において、政策が特定の状態で動かなくなる「アイドリング」を検出し、その状態に摂動を加えることで探索を促し、性能を向上させる手法を提案。
- 自己中心視覚と深層強化学習によるロボットサッカーの学習マルチエージェント強化学習2024/5/1
自己中心的なRGB視覚のみを入力とし、関節レベルの行動を出力するマルチエージェントロボットサッカーの方策を深層強化学習で訓練し、シミュレーションから実機へ転移することに成功した。
- 成長するQネットワーク:適応的制御解像度による連続制御タスクの解決強化学習2024/4/1
離散行動空間を粗い解像度から細かい解像度へと成長させることで、連続制御タスクにおける強化学習の性能を向上させる手法を提案。
- 流体を含む剛体の実機制御のための深層強化学習sim2real2024/2/1
流体と剛体が相互作用する実機ベンチトップ実験系「Box o Flows」を構築し、モデルフリー強化学習やオフライン強化学習で複雑な制御行動を獲得できることを示した。
- 強化学習における転移の基礎:知識モダリティの分類体系転移学習2023/12/1
強化学習で知識を転移する際の様々な形態(ダイナミクス、報酬、価値関数、方策、データ)を分類し、それぞれの特性や転移メカニズムを整理したサーベイ論文。
- 実機ロボットでの大規模反復強化学習による多様な形状の積み重ね習得マニピュレーション2023/12/1
実機ロボットの自己生成データのみを用い、オフポリシー学習とオンライン/オフライン反復スキームでデータ効率を高め、ピクセルから直接エンドツーエンドで多様な形状の積み重ねを学習した。
- 実験をまたぐリプレイ:オフポリシーRLの自然な拡張強化学習2023/11/1
過去の実験で得た経験データを再利用して探索と学習を効率化するRaEを提案し、歩行やマニピュレーションなど複数の制御タスクで性能と研究効率の向上を示した。
- オフライン強化学習の汎化のための同変データ拡張オフライン強化学習2023/9/1
状態空間の並進変換に対する同変性を利用してデータセットを拡張し、オフライン強化学習エージェントの分布外目標への汎化性能を向上させる手法を提案した。
- Real Robot Challenge 2022:実世界のオフラインデータからの巧みな操作の学習マニピュレーション2023/8/1
実機ロボットのデータセットを用いたオフライン強化学習により、押す・掴む・手内操作を含む巧みな操作タスクを学習する競技会を開催し、勝利チームの手法と最先端アルゴリズムのベンチマークを比較した。
- 基盤モデルによる統合エージェントに向けてVLA2023/7/1
言語モデルを強化学習エージェントの中核推論ツールとして組み込み、探索・経験再利用・スキルスケジューリング・観察学習を単一フレームワークで扱えることを示した研究。
- 深層強化学習による二足歩行ロボットの俊敏なサッカースキル獲得sim2real2023/4/1
低コスト小型ヒューマノイドロボットに深層強化学習を適用し、1対1サッカーをプレイする俊敏で安全な運動スキルをシミュレーションで学習させ、実機へゼロショット転移した。
- SkillS: 効率的な時間拡張探索のための適応的スキルシーケンシング強化学習2022/11/1
既存の時間拡張スキルを探索のためにシーケンス化し、最終方策は生の経験から直接学習することで、迅速な適応と効率的なデータ収集を実現する手法を提案。
- Q学習による連続制御の解決連続制御2022/10/1
バンバン動作の離散化と価値分解を組み合わせ、単一エージェント制御を協調型マルチエージェント強化学習として捉えることで、シンプルなQ学習が連続制御タスクでアクター・クリティック法に匹敵する性能を達成することを示した。
- MO2: モデルベースオフラインオプション強化学習/オプション発見2022/9/1
過去の経験からボトルネック状態で切り替わる有用な行動(オプション)をオフラインで発見し、新しいタスクへ転移して探索と価値推定を改善する手法を提案する。
- オフポリシーデータを用いたロボット生涯学習における忘却と不均衡強化学習2022/4/1
生涯学習RLで生じる「保守性と学習効率のトレードオフ」と「環境間データ不均衡による性能低下」を分析し、オンライン対話とオフライン蒸留を分離する手法で解決する。
- 模倣して再利用:人と動物の動作から学習する再利用可能なロボット運動スキルsim2real2022/3/1
人や犬のモーションキャプチャデータを模倣して脚式ロボットの運動スキルモジュールを学習し、歩行やボールドリブルなどの下流タスクに再利用して実機へゼロショット転移した研究。
- 階層的潜在混合ポリシーによる転移可能な運動スキルの学習スキル学習2021/12/1
離散・連続潜在変数を組み合わせた3階層モデルでオフラインデータから再利用可能な運動スキルを抽出し、新タスクや視覚ベース方策への転移・微調整を可能にする手法を提案した。
- 少数の成功デモで長期的な器用マニピュレーションを実現する後付け目標選択マニピュレーション2021/12/1
少数の成功デモからタスク固有の目標分布を推定し、後付けリラベリングの探索を誘導することで、長期的な片腕・両腕ロボット操作タスクを少ないデモで効率的に学習する手法を提案した。
- バンバン制御だけで十分?ベルヌーイ方策による連続制御の解法連続制御2021/11/1
連続制御の強化学習で、各行動次元の極値のみを選ぶベルヌーイ方策(バンバン制御)が複数のベンチマークで最先端性能を達成することを示し、探索と学習の影響を模倣学習で分離して分析した論文。
- 好奇心だけでは足りない?好奇心探索から生まれる創発行動の有用性強化学習2021/9/1
好奇心ベースの探索で学習中に生じる行動をスナップショットとして保持し、関連タスクへの転移に再利用できることを示した研究。
- シミュレーション人型サッカーにおける運動制御からチームプレーへマルチエージェント強化学習2021/5/1
物理シミュレーション上の人型アバターのチームにサッカーを学習させ、模倣学習・強化学習・集団訓練を組み合わせて、走るなどの低次運動からドリブルやチーム連携までを段階的に獲得させた研究。
- 表現が重要:ロボティクスにおける知覚と探索の改善表現学習2020/11/1
3Dブロックの持ち上げ・積み上げ・押し出しタスクで、学習済み・手設計の複数の表現をエージェント入力と補助タスクの2用途で比較し、次元数・観測性・分離性の観点から「良い表現」の性質を体系的に評価した論文。
- 「何を」解くかに焦点を当てた未把持ペグ挿入タスクのゼロからの学習マニピュレーション2020/10/1
自由に回転する非対称ペグを把持せずに挿入する高難度の劣駆動タスクを、補助制御と階層方策最適化を組み合わせたマルチタスク強化学習でシミュレーションと実機の両方でゼロから解決した。
- 多様な脚型ロボットに共通適用できる汎用的な移動スキル学習フレームワーク歩行2020/8/1
二足・三足・四足・六足や車輪型を含む9種類のロボットに対し、ハイパーパラメータと報酬定義を共通化したオフポリシー強化学習で、機体固有の調整なしに多様な移動スキルを学習できることを示した。
- データ効率の良い後知恵オフポリシー・オプション学習強化学習2020/7/1
軌跡からオプション選択を推論し動的計画法の推論を逆伝播することで、全ポリシー構成要素をオフポリシーかつエンドツーエンドに学習するHO2を提案し、生ピクセル入力の3Dロボット操作タスクで有効性を示した。
- 探索のためのシンプルセンサー意図強化学習/探索2020/5/1
生のセンサー入力から直接計算できる補助タスク「シンプルセンサー意図」を提案し、実機ロボットアームが把持・持ち上げやボールインナカップをゼロから学習できることを示した。
- ハイブリッド制御のための連続・離散強化学習強化学習2020/1/1
離散行動と連続行動が混在するロボット制御問題を、両者を同時に最適化するハイブリッド強化学習でネイティブに解き、専門家ヒューリスティクスを排除する利点をシミュレーションと実機で示した論文。
- 階層強化学習における合成的転移階層強化学習2019/6/1
複数タスク間でデータを共有する階層的方策最適化手法RHPOを提案し、実機ロボットの積み木タスクでデータ効率と性能の大幅な向上を示した。
- 模倣・シミュレーション・適応によるロボット学習の効率的な監督模倣学習2019/4/1
模倣学習・ドメイン適応・シミュレーションからの転移という3つの方向から、ロボット学習のデータパイプラインを効率化する手法を提案した論文。
- 移動ロボットにおける機械学習と構造の役割移動ロボット2018/6/1
移動ロボットの自律システムにおいて、知覚以外のモジュールでも学習が手作業のルール設計に代わりつつある現状を概観し、実用上の構造の必要性と今後の課題を論じたサーベイ。
- 変化し続ける環境への逐次敵対的ドメイン適応ドメイン適応2017/12/1
天候や照明の変化に応じてモデルを段階的に適応させる敵対的ドメイン適応手法を提案し、走行可能領域セグメンテーションで昼夜間の大きな見た目変化への頑健性を向上させた。
- 逆方向カリキュラム生成による強化学習強化学習2017/7/1
目標状態から逆算して徐々に遠い開始状態を自動生成するカリキュラムで、スパース報酬の目標指向タスクを効率的に学習する手法を提案。
- 敵対的ドメイン適応による屋外ロボティクスの見た目変化への対応ドメイン適応2017/3/1
天候や季節による見た目の変化に頑健な機械学習のため、教師なしドメイン適応に敵対的手法を適用し、特徴量をドメイン間で揃えるフレームワークを開発。安定化のためのアブレーション研究を経て自動運転の自由空間セグメンテーションに応用した。
- 人間のドメイン知識を大規模コスト関数学習に組み込む逆強化学習2016/12/1
手設計のコスト関数への回帰でネットワークを事前学習し、最大エントロピー深層逆強化学習で微調整することで、人間の事前知識を走行選好学習に取り込む手法を提案した。
- 都市環境の経路計画のためのスケーラブルなコスト関数学習経路計画2016/7/1
最大エントロピー逆強化学習と全畳み込みネットワークを用い、人間の運転デモから直接コストマップを学習する手法を提案し、都市環境での大規模データで有効性とロバスト性を示した。
