Oier Mees
収録論文 39本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 強化学習による汎用ロボットポリシーのマルチタスク自己改善スケーリング強化学習2026/11/4
汎用ロボットポリシーを展開時に強化学習で多様なタスクへ同時に自己改善できるか検証し、価値推定や資源配分の設計次第で未学習タスクにも汎化することを示した。
- 待ち時間に学習する：推論遅延下での汎用ロボットポリシーのRLファインチューニングRL/遅延対応2026/8/24
推論遅延がRLのマルコフ性を壊す問題に対し、非同期推論と状態拡張で遅延を隠蔽しつつRL改善を可能にするフレームワークARLIを提案。シミュレーションと実機で有効性を実証した。
- FlowDAgger: 潜在空間における人間参加型生成ロボットポリシーの適応模倣学習/適応2026/7/1
事前学習済みの生成ロボットポリシーを、人間の介入から潜在空間で適応させる手法を提案。介入行動を逆変換してノイズに変換し、軽量な潜在ポリシーで基盤モデルを操縦することで、少数の介入から迅速にスキル獲得する。
- 人間のビデオからロボット操作へ：人間中心データを用いたスケーラブルな視覚言語行動学習に関するサーベイVLA/サーベイ2026/6/1
ロボットのデモデータに頼らず、豊富な人間のビデオをVLAモデルの学習に活用する手法を4つのカテゴリに分類して整理し、未解決の課題と今後の研究方向を提示したサーベイ論文。
- ロボットの自己改善：人間のビデオからの力学モデルを用いてロボット学習2026/6/1
人間のビデオから学習した行動・力学・価値表現をロボットに転移し、失敗状態を修正するDGAC法を提案。7つの実世界操作タスクで成功率を40%から81%に向上させ、ロボットの自己改善を実証した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- SteerVLA：長尾運転シーンで視覚言語行動モデルを操舵する自動運転/VLA2026/2/1
VLMの常識推論で細かい言語指示を生成し、VLA運転ポリシーを操舵する手法を提案。閉ループベンチマークで長尾シーンの性能を大幅に改善した。
- mimic-video: VLAを超える汎化可能なロボット制御のためのビデオ行動モデルVLA2025/12/1
大規模動画モデルを事前学習に用い、その潜在表現からフローマッチングでロボットの低レベル行動を生成するVideo-Action Modelを提案。シミュレーションと実機のマニピュレーションでVLAを上回り、サンプル効率10倍・収束速度2倍を達成した。
- ロボットナビゲーションと操作のためのマルチモーダル空間言語マップVLA2025/6/1
視覚・言語・音声の特徴を3D環境再構成に融合した空間マップを構築し、LLMと組み合わせて自然言語指示やマルチモーダルな目標を地図上に定位してロボットのナビゲーションと操作を可能にする手法を提案。
- 効率的な身体性推論のための学習戦略VLA2025/5/1
ロボットのChain-of-Thought推論がなぜ有効かを分析し、軽量で高速な代替推論手法を提案した論文。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- 視覚を超えて：言語グラウンディングによる異種センサーでの汎用ロボット方策のファインチューニングVLA2025/1/1
自然言語を共通のクロスモーダル基盤として用い、視覚・触覚・音声などの異種センサー入力を扱えるよう汎用ロボット方策をファインチューニングする手法FuSeを提案。実世界実験で成功率を20%以上向上させた。
- 汎用ロボット基盤モデルを価値誘導で操る：V-GPSVLA2024/10/1
オフライン強化学習で学習した価値関数を用いて汎用ロボット方策の行動を再ランク付けし、微調整なしで性能を向上させる手法を提案。
- GHIL-Glue: フィルタリングされたサブゴール画像による階層制御VLA2024/10/1
生成モデルが作るサブゴール画像をフィルタリングし、下位方策と効果的に繋ぐことで、言語条件付きロボット操作の汎化性能を向上させた研究。
- LeLaN: 実世界動画から言語条件付きナビゲーション方策を学習ナビゲーション2024/10/1
大規模視覚言語モデルとロボット基盤モデルを活用し、ラベルなし・行動なしの一人称視点動画から言語で指示された物体ナビゲーション方策を学習する手法を提案。1000回以上の実世界実験で既存手法を上回り、エッジ計算で4倍高速に推論可能。
- 基盤モデルによるゼロショットラベリングでロボット方策学習をスケールさせるVLA2024/10/1
視覚言語基盤モデルを組み合わせ、未整理の長期ロボットデータに自然言語指示を自動でゼロショット付与するNILSを提案し、11.5万軌道以上をラベリングした。
- ロボット拡散トランスフォーマーの構成要素VLA2024/10/1
拡散モデルとトランスフォーマーを組み合わせたロボット政策の設計指針を検討し、長期的な器用タスクで高性能を発揮する新アーキテクチャを提案した。
- 言語最適化による方策適応：少数ショット模倣のためのタスク分解模倣学習2024/8/1
視覚言語モデルによるタスク分解を活用し、少数の実演から未知の長期的ロボット操作タスクに適応する手法PALOを提案した。
- 異なる身体を超えて学ぶ：操作・ナビゲーション・歩行・飛行を1つのポリシーでVLA2024/8/1
20種類のロボットの90万軌道をTransformerで学習し、単一のポリシーでマニピュレーションから歩行・飛行まで制御できるCrossFormerを提案した。
- 基盤モデルによる指示追従スキルの自律的改善VLA2024/7/1
視覚言語モデルを活用してロボットが自律的に多様なデータを収集・評価し、人間の注釈なしで指示追従ポリシーを改善する手法を提案。未知環境での性能を2倍に向上させた。
- 身体性を伴う連鎖的思考推論によるロボット制御VLA2024/7/1
視覚言語行動モデルに、計画・サブタスク・動作・物体位置などの推論を段階的に行わせてから行動を予測するECoTを導入し、大規模データセット向けの合成訓練データ生成パイプラインを構築して成功率を向上させた。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- 言語と行動の橋渡し：言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方（状態評価・方策条件・認知計画・統合VLA）で分類し、最新手法と課題を整理したサーベイ。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 音声・視覚・言語マップによるロボットナビゲーションナビゲーション2023/3/1
音声・画像・テキストのマルチモーダルな手がかりを統合した3Dボクセルマップを構築し、ロボットが多様なクエリで目的地を指定してゼロショットでナビゲーションできるようにした研究。
- 視覚言語マップ：ロボットナビゲーションのための空間地図表現ナビゲーション2022/10/1
事前学習済み視覚言語モデルの特徴量を3D再構成と融合させた空間地図VLMapsを提案し、LLMと組み合わせることで複雑な自然言語指示に基づくロボットナビゲーションを実現した。
- 視覚的アフォーダンスによる非構造データからの言語接地VLA2022/10/1
非構造でオフラインの実世界データから、1%の言語注釈のみで言語条件付きロボットスキルを効率的に学習する手法を提案し、CALVINベンチマークで最高性能を達成した。
- タスク非依存オフライン強化学習のための潜在プランオフライン強化学習2022/9/1
模倣学習で低レベル潜在スキルを、オフライン強化学習で高レベルスキル連鎖方策を学ぶ階層的手法を提案し、実世界25種の操作タスクで既存手法を上回った。
- 言語条件付きロボット模倣学習で重要な要素は何か：非構造データからの検討VLA2022/4/1
非構造なオフライン模倣データから言語条件付き方策を学ぶ際の設計選択を体系的に検討し、階層分解やマルチモーダルTransformer、離散潜在プラン、対照損失を組み合わせてCALVINベンチマークで最先端を上回った。
- プレイデータから学ぶアフォーダンスによるサンプル効率の良い方策学習アフォーダンス学習2022/3/1
人間の遠隔操作プレイデータから自己教師ありで視覚アフォーダンスモデルを抽出し、モデルベース計画と深層強化学習を組み合わせて、少ない試行で効率的に方策を学習する手法VAPOを提案した。
- CALVIN：言語条件付き長期的ロボットマニピュレーションのベンチマーク言語条件付きマニピュレーション2021/12/1
言語指示に従って長期的なロボット操作タスクを解くためのオープンソース模擬ベンチマークCALVINを提案し、既存手法の性能不足を示した。
- 言語指示を接地してピック・アンド・プレイス作業を構成する言語接地マニピュレーション2021/2/1
自然言語の指示から物体とその空間関係を画像と文から推定し、PR2ロボットで把持・配置作業を逐次実行するシステムを提案した。
- 見通しのための後知恵：物理的相互作用から教師なしで構造化ダイナミクスモデルを学習ダイナミクスモデル2020/8/1
ラベルなしの3D点群と画像から、ロボットの相互作用ダイナミクスを物体中心に学習する手法を提案し、視覚運動制御や計画に有効であることを示した。
- 幻覚的なシーン表現を用いた関係指示に基づく物体配置の学習物体配置2020/1/1
単一画像から空間関係ごとの画素単位の物体配置確率を推定するCNNを提案し、幻覚した高レベルシーン表現の分類を補助タスクとして学習することで、正解データや3Dモデルなしで関係指示に沿った物体配置を実現した。
- 単一画像からの自己教師あり3D形状・視点推定とロボット把持への応用3D認識2019/10/1
物体のシルエットのみを教師信号として、単一画像から3D形状と視点を自己教師あり学習で推定するCNNを提案し、実ロボットの把持性能向上に活用した。
- 敵対的スキルネットワーク：動画からの教師なしロボットスキル学習教師なしスキル学習2019/10/1
ラベルなしの多視点動画から、タスクに依存しないスキル埋め込み空間を敵対的損失とメトリック学習で学習し、新規タスクへのスキル転用・組み合わせを可能にする手法を提案した論文。
- 賢く選ぶ：変化する環境での物体検出のための適応型マルチモーダル融合マルチモーダル融合2017/7/1
RGB-Dカメラの外観・深度・動きの各モダリティの予測をオンラインで重み付けするCNNエキスパート混合型の適応融合手法を提案し、照明変化やモーションブラーに頑健な人物検出をロボット実験で示した。
- 空間関係を新しい物体へ汎化するための距離計量学習空間関係学習2017/3/1
距離計量学習を用いて、ロボットが空間関係の類似性を推論し、少ない実例から新しい物体や関係に汎化できる手法を提案した。
