Ruohan Gao

University of Maryland, College Park

収録論文 15本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• 嗅覚と視覚を統合した3D環境内の embodied navigation ベンチマーク「OdorSpaces」
  嗅覚ナビゲーション2026/11/3

  物理ベースのシミュレータで3Dの匂い輸送・拡散を再現し、視覚と嗅覚を併用してガス漏れや火災の発生源を探すナビゲーションタスクのベンチマークを構築した。マルチモーダル強化学習方策を提案し、複数のベースラインを上回る性能を示した。

• MotorSense：動作理解のための映像とEMGを組み合わせた大規模データセット
  マルチモーダル学習2026/10/30

  一人称視点の映像と両手の筋電位(EMG)を同期収録した100時間規模のデータセットを構築し、映像と運動信号のクロスモーダル事前学習で動作認識や3D手・接触再構成の性能向上を示した論文。

• OmniTacTune: 視覚ポリシーへの触覚残差適応のためのポリシー非依存な実世界強化学習
  触覚/強化学習2026/7/1

  事前学習済みの視覚ポリシーに触覚フィードバックを残差補正として適応させる、ポリシー非依存の実世界RLパイプラインを提案。接触を伴う多様なタスクで成功率を大幅に向上させる。

• HumanEgo: 人間の一人称視点動画数分からのゼロショットロボット学習
  模倣学習2026/5/1

  人間の一人称視点動画からロボット操作スキルをゼロショットで転移するフレームワークを提案。手と物体の相互作用をエンティティレベルで表現し、フローマッチングポリシーと補助損失で学習することで、ロボットデータ不要で高効率な学習を実現した。

• AFFORD2ACT: アフォーダンス誘導による汎用かつ軽量なロボットマニピュレーションのための自動キーポイント選択
  マニピュレーション2025/10/1

  テキストと画像からアフォーダンスを手がかりに最小限の意味的キーポイントを抽出し、38次元の軽量ポリシーで未知物体や背景変化に強いマニピュレーションを実現した。

• GenFlowRL: 生成的オブジェクト中心フローによる視覚強化学習の報酬形成
  強化学習2025/8/1

  多様なロボットデータから学習した生成的オブジェクト中心フローを用いて報酬を形成し、視覚強化学習で汎化性の高い操作方策を獲得する手法を提案。

• ControlTac: 単一参照画像による力と位置を制御した触覚データ拡張
  触覚2025/5/1

  単一の参照触覚画像と接触力・接触位置を条件として、物理的に妥当な触覚画像を生成する2段階の制御可能なフレームワークを提案し、触覚データセットの拡張に有効であることを示した。

• NOIR: 脳信号で操作する日常活動支援ロボット
  BCI/ロボットインターフェース2023/11/1

  脳波(EEG)で意図する物体と行動を伝え、ロボットが料理・掃除など20種類の日常家事を実行するブレイン・ロボットインターフェースを開発した。

• ObjectFolderベンチマーク：神経オブジェクトと実物体によるマルチセンサリー学習
  マルチモーダル知覚2023/6/1

  視覚・音・触覚を統合した物体中心学習の10タスクベンチマークと、実世界の家庭用品100個のマルチセンサリーデータセットを公開し、各感覚の役割を体系的に評価した。

• Sonicverse：見て聞く家庭内エージェントのためのマルチセンサリ・シミュレーションプラットフォーム
  マルチモーダル/音声視覚ナビゲーション/sim2real2023/6/1

  音と視覚を統合したリアルタイム3D音響シミュレータSonicverseを開発し、音声視覚ナビゲーションのマルチタスク学習モデルを提案。シミュレータで訓練したエージェントが実世界環境で音声視覚ナビゲーションを成功させるsim-to-real転移も実証した。

• 見て、聞いて、感じる：ロボットマニピュレーションのためのスマートセンサリーフュージョン
  マニピュレーション2022/12/1

  視覚・聴覚・触覚を自己注意モデルで融合し、密詰めや注ぎといった複雑なマニピュレーションタスクを高精度に実現するロボットシステムを構築した。

• 動力学拡張ニューラルオブジェクトの微分可能物理シミュレーション
  sim2real2022/10/1

  NeRFなどの密度場で表現された物体の質量・慣性・摩擦を推定し、微分可能接触モデルでシミュレーションする手法を提案。実動画から石鹸の摩擦係数を学習し、ロボットアームによる操作軌道の最適化を実現した。

• ObjectFolder 2.0：Sim2Real転送のためのマルチセンサリ物体データセット
  sim2real2022/4/1

  視覚・音響・触覚のマルチセンサリデータを持つ大規模物体データセットを構築し、仮想物体で学習したモデルが実世界の物体スケール推定・接触位置推定・形状復元に転送できることを示した。

• ObjectFolder: 視覚・聴覚・触覚の暗黙表現を備えた物体データセット
  マルチモーダル知覚2021/9/1

  100個の仮想物体について視覚・聴覚・触覚の感覚データを物体中心の暗黙表現で収録したデータセットを構築し、マルチモーダル認識やロボット把持などのベンチマークで有用性を示した。

• 音響視覚ナビゲーションのためのウェイポイント学習
  音響視覚ナビゲーション2020/8/1

  音と映像を手がかりに未知の3D環境で音源を探すナビゲーションにおいて、動的に設定されるウェイポイントと音響メモリを強化学習で学習する手法を提案し、ReplicaとMatterport3Dで大幅な性能向上を達成した。