Roberto Martín-Martín
University of Texas at Austin
収録論文 75本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- MOMASPLAT: モバイルマニピュレーションのための動的な新規視点デモンストレーション拡張モバイルマニピュレーション2026/11/5
モバイルマニピュレーションのデモを、未見のロボット基部位姿から動的な物体操作も含めて合成する新規視点拡張フレームワーク。3Dガウシアンスプラッティングと3D基盤モデル、キネマティクスに基づく動作再ターゲティングを組み合わせ、幾何学的に一貫した合成デモを生成する。
- 失敗から学ぶVLAの汎用リカバリ学習フレームワークVLA2026/11/5
少数の修正デモから失敗の意図を推論し、空間表現と条件付きコストとして知識を符号化することで、VLAモデルが新規物体やシーン変化にも汎化できるリカバリ動作を学習する手法を提案。
- GUILD: 模倣学習のための誘導型反復データ収集模倣学習2026/11/3
視覚言語モデルの意味的知識と予測的データ帰属を組み合わせ、方策性能を最大化するデータを反復的に選んで収集する枠組みを提案し、実機・シミュレーションで有効性を示した。
- ReDex: 指先の柔軟なインタラクションによるSim-to-Real巧みな操作ポリシーの修復sim2real2026/10/5
シミュレーションで訓練した多指ハンドポリシーに対し、実機で人間が指先の接触失敗のみを修正し、その際の力覚情報を模倣学習で取り込むことで、触覚シミュレーションなしに実世界へ適応させる手法。
- エピソード評価を超えて：連続的身体化質問応答における記憶アーキテクチャのボトルネック身体化AI/記憶アーキテクチャ2026/7/1
身体化質問応答（EQA）を連続的に評価した際、既存の記憶保持だけでは不十分で、視覚的意味情報を保持する構造化された空間的記憶（3D幾何学に基づく）が必要であることを示した論文。
- 長期的ロボット制御のための視覚運動ポリシーにおける記憶検索VLA2026/6/1
部分観測環境での長期タスクを可能にするため、注意機構を用いた記憶検索を備えた視覚運動ポリシーHALOを提案。VLMの事前知識を活用して誤相関を抑え、記憶誤差の蓄積を軽減する。
- OopsieVerse: 損傷認識シミュレーションによるロボット操作の安全性ベンチマーク安全性/シミュレーション2026/6/1
家庭用ロボットの物理的安全性を評価するため、接触力や温度変化などの損傷を検出・定量化する統一シミュレーションフレームワークとベンチマークを提案した。
- 視覚運動ポリシーの短期記憶を拡張し長期的タスクを実現模倣学習2026/6/1
本論文は、模倣学習による視覚運動ポリシーに短期記憶を効果的に組み込むためのアーキテクチャPRISMを提案し、新しいベンチマークReMemBenchで評価した。
- VOFA: ヒューマノイドのための力適応制御を用いた視覚目標物体押し操作ロコマニピュレーション2026/5/1
ヒューマノイドロボットが未知の物理特性を持つ物体を目標位置まで押し動かすための、視覚目標条件付きの階層的制御システムを提案した。高レベルの視覚運動ポリシーと低レベルの力適応全身制御を組み合わせ、シミュレーションと実機で高い成功率を達成した。
- 大規模言語モデルによる部分観測タスク・動作計画の状態推定ガイドタスク・動作計画2026/3/1
ロボットが部分観測環境で計画を実行中に予期しない物体を観測した際、LLMの常識知識を用いてタスク関連物体の信念を形成し、計画・実行時間を大幅に短縮するフレームワークCoCo-TAMPを提案した。
- 変形物体の移動操作のための粒子動力学の迅速適応変形物体操作2026/3/1
変形物体の未知の動力学を扱うため、シミュレーションで物体の粒子位置などの特権情報から動力学埋め込みを学習し、実ロボットで推論する二段階手法RAPiDを提案した。
- 因子分解型潜在行動ワールドモデルワールドモデル2026/2/18
動画から潜在行動を学習する際、シーンを複数の独立因子に分解し、各因子が独自の潜在行動を推論・予測するフレームワークFLAMを提案。複数エンティティが同時に動く複雑な環境での予測精度と表現品質を向上させ、下流の政策学習を容易にする。
- 時空間を探索する：オープンワールド物体検索のための統合メモリ・行動ループ物体検索2025/11/1
ロボットが過去の状態や空間的文脈を手がかりに物体を探すため、長期記憶と行動を単一のループで統合するフレームワークSTARを提案し、新ベンチマークで有効性を示した。
- CAVER: 好奇心駆動型音響視覚探索ロボットマニピュレーション2025/11/1
物体を叩いて音を鳴らす専用エンドエフェクタと音響視覚表現、好奇心に基づく探索アルゴリズムを組み合わせ、効率的に物体の音と見た目の関係を学習するロボットを提案。
- MoMaGen: ソフト・ハード制約下で多段階両腕移動マニピュレーションのデモを生成sim2real2025/10/1
移動ベースと両腕の多段階タスク向けに、到達可能性などのハード制約と視認性などのソフト制約を満たすデータ生成を制約付き最適化として定式化し、多様なデモを自動生成する手法を提案。
- GeT-USE: シミュレーション上の身体拡張を介した双腕移動マニピュレーションのための汎用ツール使用学習sim2real2025/10/1
シミュレーション上でロボットの身体拡張（新しいエンドエフェクタの構築）を探索し、タスクに有効なツール形状の知識を獲得した後、実機の視覚運動ポリシーへ転移することで、利用可能な物体から最適なツールを選んで使う汎用ツール使用を実現した研究。
- MimicDroid: 人間の遊び動画からの文脈内学習によるヒューマノイドロボット操作VLA2025/9/1
人間の遊び動画のみを訓練データとして、ヒューマノイドが新しい操作タスクを数例の動画から効率的に学習できる文脈内学習手法を提案し、実世界で成功率を約2倍に向上させた。
- マッシュ、スプレッド、スライス！視覚的空間進捗による物体状態操作の学習マニピュレーション2025/9/1
物体の位置を変えずに物理的・視覚的状態が進行する操作（マッシュ、スプレッド、スライスなど）を統一フレームワークSPARTAで学習し、実機で高精度・高速訓練を実現した。
- RoboSSM: 状態空間モデルによるスケーラブルな文脈内模倣学習模倣学習2025/9/1
Transformerの代わりに状態空間モデル(Longhorn)を用いた文脈内模倣学習手法を提案し、長い文脈のプロンプトでも効率的に推論できることを示した。
- 人間とロボットの協調マニピュレーションのための混合主導対話マニピュレーション2025/8/1
自然言語による混合主導の対話を通じて、人間とロボットが協力してタスクを遂行するシステムMICoBotを提案し、実機実験で有効性を示した。
- COLLAGE: 適応的融合に基づく検索による拡張方策学習模倣学習2025/8/1
少数の模倣学習デモから大規模データセットを検索する際、複数の特徴量に基づく適応的な後期融合で関連デモを選択し、重要度サンプリングで方策学習を改善する手法を提案。
- SLAC: 教師なしシミュレーション事前学習による安全で効率的な実機ロボット強化学習sim2real2025/6/1
低忠実度シミュレータでタスク非依存の潜在行動空間を事前学習し、実機でのオフポリシー強化学習を安全かつ高効率化する手法を提案。双腕移動マニピュレーションで1時間以内に全身接触タスクを学習。
- Casper: 視覚言語モデルによる多様な意図推論を実現する支援型遠隔操作遠隔操作2025/6/1
視覚言語モデルの常識知識を活用し、ユーザーの操作入力から多様な意図をリアルタイムに推論して、長期的な移動マニピュレーション作業を支援する遠隔操作システムを提案した。
- SafeMimic: 移動マニピュレーションのための安全で自律的な人間からロボットへの模倣学習模倣学習2025/6/1
一人称視点の人間動画から移動マニピュレーションを安全かつ自律的に学習するフレームワークを提案。安全性Q関数を用いて行動を検証し、必要に応じてバックトラックしながらロボットの形態に適応させる。
- DataMIL: データモデルによるロボット模倣学習のためのデータ選択模倣学習2025/5/1
ロボット模倣学習において、ポリシー自体を活用してタスク成功率を直接最適化するデータ選択フレームワークを提案し、シミュレーションと実世界の60以上のタスクで有効性を示した。
- BiFlex: 非構造環境での操作のための受動的二モード剛性柔軟手首マニピュレーション2025/4/1
柔らかい座屈ハニカム構造を用いて、高い剛性と低い剛性の二つのモードを自然に切り替える受動的な柔軟手首を開発し、精密操作と安全性を両立させた。
- なぜ自動化するのか？ロボット自動化への欲求、費やす時間、幸福度の相関の探求HRI2025/1/1
BEHAVIOR-1Kと米国時間使用調査のデータを用い、家事タスクの自動化への欲求が所要時間よりも幸福感や痛みといった感情と強く関連することを明らかにし、性別や所得による違いも示した研究。
- 効率的な階層強化学習のための分離された教師なしスキル発見階層強化学習2024/10/1
教師なしで分離されたスキルを学習し、階層強化学習で効率的に再利用する手法DUSDiを提案。
- SkiLD: 因子間相互作用に導かれた教師なしスキル発見教師なし強化学習2024/10/1
状態を因子に分解し、因子間の多様な相互作用を引き起こすスキルを教師なしで学習する手法を提案。家庭環境ロボットなど長期的な疎報酬タスクで既存手法を上回る。
- 見ることを学ぶ：方策分解による意思決定のための情報探索マニピュレーション2024/10/1
ロボットが操作に必要な情報を能動的に探し出す「情報探索方策」と、得た情報を使って操作を行う「情報受容方策」に分解して別々に学習する手法DISaMを提案し、実機を含む5つの操作タスクで有効性を示した。
- BUMBLE: 視覚言語モデルによる建物全体の移動マニピュレーションのための推論と行動の統合移動マニピュレーション2024/10/1
建物規模の長期的な移動マニピュレーションタスクに取り組むため、視覚言語モデルを基盤に開放世界RGBD知覚、粗から細への運動スキル、二層メモリを統合したフレームワークBUMBLEを提案し、70試行で平均47.1%の成功率を達成した。
- KinScene: 関節物体を含むシーンのモデルベース移動マニピュレーションマニピュレーション2024/9/1
移動マニピュレータが屋内シーンを自律探索し、関節物体の運動モデルを構築して、長期的な操作タスクを計画・実行するフルスタック手法を提案。
- ロボティクスにおける深層強化学習：実世界での成功に関するサーベイ強化学習2024/8/1
深層強化学習をロボットに応用した実世界での成功事例を調査し、成功要因や未開拓領域、今後の研究方向を整理したサーベイ論文。
- 先見性のあるナビゲーションに向けて：最適視点軌道計画とロボットナビゲーションの融合視点計画/巡回ナビゲーション2024/8/1
四足歩行ロボットが巡回・監視タスクにおいて、アームカメラの視点計画と移動計画を統合し、長期的な環境カバレッジを最適化する枠組みを提案した論文。
- 自然言語でSim2Realギャップを埋めるsim2real2024/5/1
画像の自然言語記述をドメイン間の共通信号として用い、シミュレータと実機の視覚的差異を埋めることで、画像条件付きロボット方策のSim2Real転移を改善する手法を提案した。
- ScrewMimic: 人間動画からのスクリュー空間射影による両手模倣学習模倣学習2024/5/1
両手の協調動作をスクリュー運動としてモデル化した新たな行動空間を提案し、人間の動画1本から複雑な両手操作を学習して自己教師あり微調整で改善するフレームワーク。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- TeleMoMa: モバイルマニピュレーションのためのモジュール式で汎用的な遠隔操作システム遠隔操作2024/3/1
RGB-DカメラやVRコントローラなど複数の入力インターフェースを統合し、移動マニピュレータの全身遠隔操作を可能にするモジュール式システムを開発。模倣学習用の実演データ収集を容易にし、その有効性を実機とシミュレーションで示した。
- BEHAVIOR-1K：1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- BaRiFlex: ロボット学習のための多用途かつ衝突に強いロボットグリッパグリッパ設計2023/12/1
低慣性アクチュエータと剛体・柔軟材料の組み合わせにより、衝突に強く多用途な把持を実現するグリッパBaRiFlexを開発し、強化学習タスクでの有効性を示した。
- 対話型模倣学習におけるモデルベース実行時モニタリング模倣学習2023/10/1
対話型模倣学習の枠組みで、潜在空間のダイナミクスモデルと失敗分類器を学習し、将来の行動結果をシミュレートして異常や高リスク状態を事前に検知する実行時モニタリング手法を提案する。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- Mini-BEHAVIOR: 身体性AIにおける長期的意思決定のための手続き的生成ベンチマーク身体性AIベンチマーク2023/10/1
家庭内タスクを模した高速なGridworld環境で、手続き的生成により多様なタスクを生成し、身体性AIの長期的な意思決定や計画を評価するベンチマークを提案した。
- MUTEX: マルチモーダルなタスク指定から統合ポリシーを学習VLA2023/9/1
動画・画像・テキスト・音声など6種類のモダリティで与えられたタスク指示を統合的に理解し、Transformerでクロスモーダル推論を行うポリシー学習手法を提案。
- ソーシャルロボットナビゲーションアルゴリズム評価のための原則とガイドラインソーシャルナビゲーション2023/6/1
人混み環境でのロボットナビゲーションを公平に評価するための共通ベンチマーク基準を提案し、安全性や快適さなどの原則、メトリクスやシナリオ設計のガイドライン、評価フレームワークを示した。
- 全身移動マニピュレーションのための因果方策勾配移動マニピュレーション2023/5/1
報酬関数と行動の因果関係を自動発見し、因果方策勾配で勾配分散を抑えて移動と操作を統合した全身移動マニピュレーションを学習する強化学習フレームワークを提案。
- Habitat 2.0におけるBEHAVIOR：身体性AIエージェントのベンチマークのためのシミュレータ非依存な論理タスク記述身体性AIベンチマーク2022/6/1
家庭内タスクを論理空間で記述するBEHAVIORの一部を高速シミュレータHabitat 2.0に移植し、異なるシミュレータ間でタスク定義を再利用できることを示した。
- MaskViT: マスク視覚モデリングによる動画予測の事前学習動画予測2022/6/1
マスク視覚モデリングでTransformerを事前学習し、空間・時空間ウィンドウ注意と可変マスク率で高解像度動画予測を実現、実ロボット計画にも応用した。
- テレオペデータからの誤り検知を備えた移動マニピュレーションの模倣学習移動マニピュレーション2021/12/1
移動マニピュレーション向けに同時操作可能なテレオペレーションフレームワークMoMaRTを提案し大規模データセットを収集、失敗状態を検知する誤り検出器を組み合わせた模倣学習で多段タスクの成功率を向上させた。
- BEHAVIOR：仮想環境における日常家事タスクのベンチマークベンチマーク2021/8/1
掃除や料理など100種類の家事タスクをシミュレーション上で再現し、多様な初期・目標条件の生成、評価指標、VRによる人間の実演データを備えた embodied AI 向けベンチマークを提案した。
- iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境sim2real2021/8/1
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
- オフライン人間デモンストレーションからのロボットマニピュレーション学習で重要なこと模倣学習2021/8/1
6つのオフライン学習アルゴリズムを5つのシミュレーションと3つの実世界の多段階マニピュレーションタスクで比較し、人間デモデータから学ぶ際の課題と教訓を明らかにした研究。
- 学習可能なスムーザのための微分可能な因子グラフ最適化状態推定2021/5/1
因子グラフベースのスムーザを微分可能な形で展開し、MAP推論の最適化を通じて確率的システムモデルをエンドツーエンドで学習する手法を提案。物体追跡と視覚オドメトリで既存手法を大きく上回る精度を示した。
- 効率的な強化学習のための潜在行動空間を学習するLASER強化学習2021/3/1
類似タスクの軌道データから変分エンコーダ・デコーダで元の行動を潜在行動空間に写像し、その空間で強化学習を行うことでサンプル効率を改善する手法を提案した。
- 協調テレオペレーションによる多腕マニピュレーションの学習マニピュレーション2020/12/1
複数ユーザが遠隔から同時に複数のロボットアームを操作して実演を収集するプラットフォームMARTを構築し、多腕タスクの模倣学習における集中化の課題を分析した研究。
- 3Dシーングラフ上のニューラルメッセージパッシングによる階層的機械探索物体探索2020/12/1
家庭やオフィスの3Dシーングラフを構築し、視覚・幾何・言語情報をニューラルメッセージパッシングで統合して、自然言語で指定された物体を効率的に探すHMSを提案した論文。
- iGibson 1.0：大規模リアルシーンでのインタラクティブタスク向けシミュレーション環境シミュレーション環境2020/12/1
実世界の家庭を再現した15のインタラクティブなシーンと多様なセンサ信号・ドメインランダム化・動作計画・人間デモ収集機能を備えたロボット学習用シミュレータを公開した論文。
- 遠隔操作による人間介入型模倣学習模倣学習2020/12/1
6自由度マニピュレーション向けに、人間が遠隔から訓練済み方策を監視・介入できるデータ収集システムと、介入データで方策を反復学習するアルゴリズムを提案した論文。
- 深層アフォーダンス先読み：将来可能な行動を通じた計画立案マニピュレーション2020/11/1
将来のアフォーダンスをモデル化することで長期的な行動効果を推論し、多段階の操作タスクを学習・計画する手法を提案した論文。
- 異種センサ融合のための微分可能フィルタマルチモーダル/状態推定2020/10/1
視覚と触覚など異種モダリティを統合する微分可能ベイズフィルタのアーキテクチャを提案し、平面押し操作とドア操作タスクで評価した。
- 制約された歩行者環境における強化学習を用いたロボットナビゲーションナビゲーション2020/10/1
強化学習で歩行者を避けつつ狭い廊下やドアなどの制約環境を移動するナビゲーション方策を学習し、単純なレイアウトでの訓練が複雑な未見環境や実環境の3D再構成に汎化することを示した。
- robosuite：モジュール式ロボット学習シミュレーションとベンチマークシミュレーション2020/9/1
MuJoCoを基盤としたモジュール式ロボット学習シミュレーションフレームワークrobosuite v1.5の主要モジュールとベンチマーク環境を紹介する論文。
- 視覚運動による機械的探索：散らかった環境で対象物を取り出す学習マニピュレーション2020/8/1
散らかった物体の山に隠れた対象物を、深層強化学習で効率的に露出させる視覚運動ポリシーを学習する手法を提案した論文。
- ReLMoGen：モバイルマニピュレーションのための強化学習における動作生成の活用モバイルマニピュレーション2020/8/1
強化学習の行動空間を動作生成器へのサブゴールに引き上げ、サブゴール予測ポリシーと動作計画・実行を組み合わせることで、長期的なナビゲーションとマニピュレーションの複合タスクを効率的に解くフレームワークを提案した。
- 人間のデモンストレーションから長期的タスクへの汎化を学ぶ模倣学習2020/3/1
複数の人間デモの軌道が状態空間で交差する構造を利用し、未見の開始・目標状態の組み合わせに汎化する目標指向方策を2段階のオフライン模倣学習で訓練する手法GTIを提案し、実世界の長期的マニピュレーションで検証した。
- JRMOT：リアルタイム3D多物体追跡システムと大規模データセット3D多物体追跡2020/2/1
RGB画像と3D点群を統合し、再識別・2D/3D検出を組み合わせたカルマンフィルタベースのリアルタイム3D多物体追跡システムを提案し、大規模な2D+3DデータセットJRDBも公開した。
- JRDB: 人環境における一人称視点ロボット知覚のデータセットとベンチマーク一人称視点知覚2019/10/1
社会的移動マニピュレータJackRabbotで収集した360度映像・3D点群・音声などを含む一人称視点マルチモーダルデータセットを公開し、人物の2D/3D検出・追跡のベンチマークを提供する。
- 対話型ナビゲーションのためのiGibsonベンチマークナビゲーション2019/10/1
物体との物理的インタラクションを許容する対話型ナビゲーションの初の総合ベンチマークを提案し、高忠実度な屋内シーンシミュレータと評価指標を公開した。
- 6-PACK: アンカーベースキーポイントによるカテゴリレベル6D姿勢トラッカー6D姿勢推定2019/10/1
RGB-Dデータ上で未知の物体インスタンスの6D姿勢をリアルタイム追跡するため、少数の3Dキーポイントを教師なしで学習し、キーポイントマッチングでフレーム間の動きを推定する手法を提案した。
- 回帰計画ネットワーク：高次元観測からの長期シンボリック計画学習計画学習2019/9/1
古典的な回帰（後向き）計画の考え方をニューラルネットに取り入れ、目標から現在の観測へ逆向きに中間目標列を生成することで、高次元視覚入力から長期タスクの計画を直接学習する手法を提案した。
- エンドエフェクタ空間における可変インピーダンス制御：接触の多いタスクのための強化学習アクション空間マニピュレーション2019/6/1
接触を伴うマニピュレーションタスク向けに、エンドエフェクタ空間での可変インピーダンス制御を強化学習のアクション空間として提案し、サンプル効率・省エネルギー・安全性の面で優れることを3つのタスクで示した。
- ロボットナビゲーションのための深層局所軌道再計画と制御ナビゲーション2019/5/1
大域プランナと深層学習による局所軌道計画・速度制御を組み合わせ、注意機構で歩行者を避けつつ目標へ向かう解釈可能なナビゲーションシステムを提案した。
- 機械的探索：散らかった物体に隠れた目標物の多段階取り出しマニピュレーション2019/3/1
散らかった箱の中で目標物体を押す・吸着・把持の3動作を繰り返し選んで取り出すタスクを定式化し、5つのアルゴリズム方策を1万5千回のシミュレーションと300回の実機実験で評価した。
- DenseFusion：反復的な密融合による6D物体姿勢推定6D姿勢推定2019/1/1
RGB-D画像から既知物体の6D姿勢を推定するため、RGBと深度を個別に処理してピクセル単位の密な特徴を融合するネットワークと反復的な姿勢精緻化を組み合わせた手法を提案し、YCB-VideoとLineMODで最先端性能を達成、実機ロボットでの把持にも応用した。
- 関節物体と人間の相互作用データセットRBOデータセット2018/6/1
家庭内によくある14種類の関節物体について、人間が操作するRGB-D動画と力覚データを収録し、各剛体部品の正解姿勢と関節状態を注釈付けしたデータセットを公開した。
