Nicolas Heess
収録論文 62本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- 巧みな操作のための政策アイドリングの活用マニピュレーション2025/8/1
ロボットの巧みな操作において、政策が特定の状態で動かなくなる「アイドリング」を検出し、その状態に摂動を加えることで探索を促し、性能を向上させる手法を提案。
- ExoStart: センサ付き外骨格による巧みな操作の効率的学習マニピュレーション2025/6/1
低コストのウェアラブル外骨格で人間の手の動きを収集し、シミュレーションで動力学フィルタリングして強化学習の初期化に用いることで、ロボットハンドの巧みな操作を実機にゼロショット転移させる学習フレームワークを提案。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- Proc4Gem: 手続き的生成による物理的エージェンシーの基盤モデルsim2real2025/3/1
物理シミュレーションで接触を含む軌道を大量生成し、そのデータでGeminiを微調整することで、言語指示に従って四足ロボットが実環境で物体を押し動かせるようにした研究。
- DemoStart: 実演主導の自動カリキュラムによる多指ロボットのsim-to-realsim2real2024/9/1
シミュレーションでの少数の実演と疎な報酬のみから、3本指ロボットハンドの複雑なマニピュレーション行動を自動カリキュラム強化学習で獲得し、ゼロショットで実機に転移させる手法を提案した。
- 自己中心視覚と深層強化学習によるロボットサッカーの学習マルチエージェント強化学習2024/5/1
自己中心的なRGB視覚のみを入力とし、関節レベルの行動を出力するマルチエージェントロボットサッカーの方策を深層強化学習で訓練し、シミュレーションから実機へ転移することに成功した。
- 生物・ロボットシステムのためのモデルフリー強化学習:理論と実践強化学習2024/5/1
動物とロボットの身体制御を対象に、モデルフリー強化学習(特にactor-critic法)の数理的・アルゴリズム的側面を解説し、身体性を考慮したフィードバック制御の研究枠組みを提示する。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- オフラインActor-Critic強化学習の大規模モデルへのスケーリング強化学習2024/2/1
オフラインActor-Critic強化学習がTransformerなどの大規模モデルにスケールし、132の連続制御タスクで行動クローニングを上回ることを示した研究。
- 強化学習における転移の基礎:知識モダリティの分類体系転移学習2023/12/1
強化学習で知識を転移する際の様々な形態(ダイナミクス、報酬、価値関数、方策、データ)を分類し、それぞれの特性や転移メカニズムを整理したサーベイ論文。
- 実機ロボットでの大規模反復強化学習による多様な形状の積み重ね習得マニピュレーション2023/12/1
実機ロボットの自己生成データのみを用い、オフポリシー学習とオンライン/オフライン反復スキームでデータ効率を高め、ピクセルから直接エンドツーエンドで多様な形状の積み重ねを学習した。
- 実験をまたぐリプレイ:オフポリシーRLの自然な拡張強化学習2023/11/1
過去の実験で得た経験データを再利用して探索と学習を効率化するRaEを提案し、歩行やマニピュレーションなど複数の制御タスクで性能と研究効率の向上を示した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 多目的方策最適化による強化学習における方策合成強化学習2023/8/29
既存の教師方策を追加の目的として多目的方策最適化に組み込み、エージェントが教師方策を逐次的・並列的に合成してタスクを解けるようにした研究。
- 基盤モデルによる統合エージェントに向けてVLA2023/7/1
言語モデルを強化学習エージェントの中核推論ツールとして組み込み、探索・経験再利用・スキルスケジューリング・観察学習を単一フレームワークで扱えることを示した研究。
- 言語から報酬へ:ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- RoboCat: ロボットマニピュレーションのための自己改善型汎用エージェントマニピュレーション2023/6/1
多様なロボットとタスクの経験を活用し、新しいスキルや機体に適応できる汎用マニピュレーションエージェントRoboCatを提案。自己生成データによる改善ループも示す。
- 制御のための汎用ダイナミクスモデル制御/モデルベース強化学習2023/5/1
Transformerをダイナミクスモデルとして用い、未知環境への少数ショット・ゼロショット汎化性能を実証し、制御の基盤モデルとしての可能性を示した。
- Barkour:四足ロボットの動物レベル敏捷性を測るベンチマーク歩行2023/5/1
犬のアジリティ競技に着想を得た障害物コース「Barkour」を提案し、強化学習とTransformerベースの汎用歩行ポリシーで犬の半分の速度で完走できることを示した。
- ロボット操作のための事前学習済み視覚モデルの無損失適応マニピュレーション2023/4/1
ロボット操作において、凍結した事前学習済み視覚特徴よりフルファインチューニングが高性能だが、表現ドリフトを引き起こす問題に対し、パラメータ効率の良いアダプタを適切に配置する「無損失適応」を提案し、元の能力を保ちつつ性能ギャップを削減する。
- 深層強化学習による二足歩行ロボットの俊敏なサッカースキル獲得sim2real2023/4/1
低コスト小型ヒューマノイドロボットに深層強化学習を適用し、1対1サッカーをプレイする俊敏で安全な運動スキルをシミュレーションで学習させ、実機へゼロショット転移した。
- ロボティクス領域における計画と高速学習のためのジャンピーモデルの活用モデルベース計画2023/2/1
ラベルなし経験からスキル埋め込みとマルチステップ予測モデルをオフライン学習し、計画や強化学習に活用して長期タスクのゼロショット汎化と学習高速化を実現した。
- SkillS: 効率的な時間拡張探索のための適応的スキルシーケンシング強化学習2022/11/1
既存の時間拡張スキルを探索のためにシーケンス化し、最終方策は生の経験から直接学習することで、迅速な適応と効率的なデータ収集を実現する手法を提案。
- NeRF2Real:ニューラル放射輝度場を用いた視覚誘導二足歩行運動スキルのSim2Real転移sim2real2022/10/1
スマホで撮影した短い動画からNeRFでシーンの形状と新規視点画像を学習し、物理シミュレータ上で視覚ベースの二足歩行ロボットの全身ナビゲーションとボール押し方策を学習して実機に転移した。
- MO2: モデルベースオフラインオプション強化学習/オプション発見2022/9/1
過去の経験からボトルネック状態で切り替わる有用な行動(オプション)をオフラインで発見し、新しいタスクへ転移して探索と価値推定を改善する手法を提案する。
- 汎用エージェントGato:マルチモーダル・マルチタスク・マルチ身体ポリシーVLA2022/5/1
大規模言語モデルの手法を応用し、テキスト以外も含む単一の汎用エージェントGatoを構築。同じ重みでAtari操作、画像キャプション、対話、実機ロボットアームでの積み木など多様なタスクをこなす。
- オフポリシー強化学習におけるガウス混合批評家の再検討:サンプルベース手法強化学習2022/4/21
C51批評家のビン設定や値域の事前知識が不要なガウス混合分布批評家とサンプルベース損失を提案し、連続制御タスクで最先端性能を達成した。
- オフポリシーデータを用いたロボット生涯学習における忘却と不均衡強化学習2022/4/1
生涯学習RLで生じる「保守性と学習効率のトレードオフ」と「環境間データ不均衡による性能低下」を分析し、オンライン対話とオフライン蒸留を分離する手法で解決する。
- 模倣して再利用:人と動物の動作から学習する再利用可能なロボット運動スキルsim2real2022/3/1
人や犬のモーションキャプチャデータを模倣して脚式ロボットの運動スキルモジュールを学習し、歩行やボールドリブルなどの下流タスクに再利用して実機へゼロショット転移した研究。
- 階層的潜在混合ポリシーによる転移可能な運動スキルの学習スキル学習2021/12/1
離散・連続潜在変数を組み合わせた3階層モデルでオフラインデータから再利用可能な運動スキルを抽出し、新タスクや視覚ベース方策への転移・微調整を可能にする手法を提案した。
- 重心ダイナミクスプランナの模倣による地形適応型四脚歩行の学習歩行2021/11/1
非線形ソルバが手続き生成地形上で計画した軌道を模倣学習させることで、精密な足置きを要する難地形を動的に踏破できる地形適応型四脚ロボット制御器を獲得した研究。
- モデルベース計画とプランナ償却の連続制御における評価モデルベースRL2021/10/1
モデル予測制御とモデルフリー方策学習を組み合わせ、難しい移動タスクでデータ効率と性能を評価し、計画計算を方策に蒸留できることを示した。
- 産業用挿入タスクのためのオフラインメタ強化学習メタ強化学習2021/10/1
過去タスクの実演と試行データのみからメタ学習し、産業用挿入タスクへ迅速に適応するオフラインメタ強化学習手法を提案した論文。文脈メタ学習とオンライン微調整を組み合わせ、類似タスクには即応・大きく異なるタスクには段階適応する。
- モデル予測エージェントのためのダイナミクスモデル学習モデルベースRL2021/9/1
モデルベース強化学習におけるダイナミクスモデルの設計選択(アンサンブル、確率性、多段階学習、タイムステップ幅など)がプランナ性能に与える影響を、真のモデル(シミュレータ)との比較を通じて体系的に分析した論文。
- 好奇心だけでは足りない?好奇心探索から生まれる創発行動の有用性強化学習2021/9/1
好奇心ベースの探索で学習中に生じる行動をスナップショットとして保持し、関連タスクへの転移に再利用できることを示した研究。
- マルチオブジェクティブ方策最適化による強化学習の改善:オフラインRLとファインチューニングの事例研究強化学習2021/6/1
強化学習の補助目的を多目的最適化問題として捉え、線形スカラー化に代わる新アルゴリズムDiMEを提案。オフラインRLとファインチューニングで既存手法を上回る性能を示した。
- シミュレーション人型サッカーにおける運動制御からチームプレーへマルチエージェント強化学習2021/5/1
物理シミュレーション上の人型アバターのチームにサッカーを学習させ、模倣学習・強化学習・集団訓練を組み合わせて、走るなどの低次運動からドリブルやチーム連携までを段階的に獲得させた研究。
- タブラ・ラサを超えて:物理埋め込み型3D倉庫番のためのモジュラー強化学習アプローチモジュラー強化学習2020/10/1
Mujoban(2D倉庫番から生成した3D倉庫をロボットが整理するタスク)に対し、認識・計画・行動の階層で強化学習モジュールを組み合わせる手法を提案し、単一のモノリシックなRLエージェントを大幅に上回ることを示した。学習済みモジュールは別のロボットでも再利用可能である。
- 準最適な専門家から器用な操作を学習するマニピュレーション2020/10/1
準最適な専門家データとオンライン探索データを組み合わせて活用できる相対エントロピーQ学習(REQ)を提案し、ロボット操作タスクで有効性を示した論文。
- 多様な脚型ロボットに共通適用できる汎用的な移動スキル学習フレームワーク歩行2020/8/1
二足・三足・四足・六足や車輪型を含む9種類のロボットに対し、ハイパーパラメータと報酬定義を共通化したオフポリシー強化学習で、機体固有の調整なしに多様な移動スキルを学習できることを示した。
- データ効率の良い後知恵オフポリシー・オプション学習強化学習2020/7/1
軌跡からオプション選択を推論し動的計画法の推論を逆伝播することで、全ポリシー構成要素をオフポリシーかつエンドツーエンドに学習するHO2を提案し、生ピクセル入力の3Dロボット操作タスクで有効性を示した。
- dm_control:連続制御のためのソフトウェアとタスク集強化学習ベンチマーク2020/6/1
MuJoCoを基盤とした強化学習向けのPythonライブラリ群と、歩行・マニピュレーションなどの標準タスクスイートを提供するソフトウェアを公開した。
- 探索のためのシンプルセンサー意図強化学習/探索2020/5/1
生のセンサー入力から直接計算できる補助タスク「シンプルセンサー意図」を提案し、実機ロボットアームが把持・持ち上げやボールインナカップをゼロから学習できることを示した。
- 多目的方策最適化の分布的アプローチ多目的強化学習2020/5/1
複数の競合する目的をスケール不変な選好で扱える多目的強化学習アルゴリズムを提案し、目的ごとの行動分布を学習してパラメトリック方策に統合、高次元ロボティクスタスクで有効性を示した。
- 成功した行動を続けよう:オフライン強化学習のための行動モデリング事前分布オフライン強化学習2020/2/1
オフライン強化学習において、過去に実行され成功しやすい行動へ方策を誘導するアドバンテージ重み付き行動モデル(ABM)を提案し、連続制御や実ロボットのマルチタスク学習で改善を示した。
- ハイブリッド制御のための連続・離散強化学習強化学習2020/1/1
離散行動と連続行動が混在するロボット制御問題を、両者を同時に最適化するハイブリッド強化学習でネイティブに解き、専門家ヒューリスティクスを排除する利点をシミュレーションと実機で示した論文。
- キャッチ&キャリー:視覚誘導型全身タスクのための再利用可能なニューラルコントローラ全身制御2019/11/1
物理ベース環境で、一人称視覚と触覚を持つヒューマノイドが箱運びやボールキャッチなどの全身タスクをこなせる、再利用可能なニューラルコントローラを学習・構築した研究。
- 想像上の価値勾配:転移可能な潜在ダイナミクスモデルによるモデルベース方策最適化モデルベースRL2019/10/1
視覚と固有感覚から環境の予測モデルを学習し、想像上の軌跡に沿った価値勾配で方策を最適化することで、ロボット操作タスクへの転移を高速化する手法を提案した論文。
- 階層強化学習における合成的転移階層強化学習2019/6/1
複数タスク間でデータを共有する階層的方策最適化手法RHPOを提案し、実機ロボットの積み木タスクでデータ効率と性能の大幅な向上を示した。
- 制約付きモデルフリー連続制御強化学習2019/2/1
ラグランジュ緩和を用いて、タスク達成を保証しつつ制御努力などの補助コストを最小化する制約ベース強化学習手法を提案し、滑らかな制御ポリシーを学習できることを示した論文。
- 連続制御のための画像埋め込みの自己教師あり学習自己教師あり学習2019/1/1
報酬なしの自己教師あり学習で汎用的な画像埋め込みと制御プリミティブを獲得し、モデルフリーとモデルベースを橋渡しする状態行動価値関数の新構造を提案した論文。
- 視覚運動制御の階層化によるヒューマノイド制御ヒューマノイド/視覚運動制御2018/11/1
低レベル運動制御の事前学習と視覚に基づく高レベル制御を組み合わせ、不安定な一人称カメラ映像を用いて物理シミュレーション上のヒューマノイドを歩行させながらタスクを解く階層型アーキテクチャを提案した。
- ヒューマノイド制御のための神経確率的運動プリミティブ模倣学習2018/11/1
潜在変数ボトルネック付き逆モデルで数千の専門ポリシーをオフライン圧縮し、全身行動のワンショット模倣や学習済み運動空間の再利用を可能にする運動モジュールを提案した。
- 最大事後確率方策最適化強化学習2018/6/1
相対エントロピー目的関数の座標上昇に基づく新しい強化学習アルゴリズムMPOを提案し、連続制御でサンプル効率と安定性に優れることを示した。
- 遊びながら学ぶ:スパース報酬タスクをゼロから解く強化学習/マニピュレーション2018/2/1
複数のスパース報酬信号のもとで、補助タスクを能動的にスケジューリングしながらオフポリシー強化学習で複雑なロボット操作行動をゼロから学習する手法SAC-Xを提案した。
- 多様な視覚運動スキルのための強化学習と模倣学習の融合模倣学習/強化学習2018/2/1
少量のデモデータを活用して強化学習エージェントを支援するモデルフリー深層RL手法を提案し、RGB画像から関節速度を直接出力する視覚運動ポリシーを訓練した。多様なマニピュレーションタスクで単独のRLや模倣学習より高性能を示し、sim2real転移の可能性も示した。
- モーションキャプチャから人間らしい動作を敵対的模倣学習で獲得模倣学習2017/7/1
限られた部分観測のモーションキャプチャデータのみから、身体パラメータが異なる場合でも人間らしい動きを生成する方策を敵対的模倣学習で訓練し、高レベル制御でタスクに再利用できることを示した。
- 器用な操作のためのデータ効率の良い深層強化学習マニピュレーション2017/4/1
DDPGを改良してデータ効率とスケーラビリティを高め、シミュレーション上で物体を掴んで積み重ねる器用な操作ポリシーを学習できることを示した論文。
- 変調された運動制御器の学習と転移歩行2016/10/1
脊髄様の低レベルネットワークを単純タスクで事前学習して固定し、高レベル皮質様ネットワークがその入力を変調して複数の運動タスクを学習・転移する手法を提案。
- プログレッシブネットによるピクセル入力からのsim-to-realロボット学習sim2real2016/10/1
プログレッシブネットワークを用いてシミュレーションで学習した方策を実機ロボットへ転移し、生の画像入力と疎な報酬のみでマニピュレーションタスクを実機学習できることを示した論文。
