Homanga Bharadhwaj
Johns Hopkins University
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 未来の把持を予測する:インターネット動画からの3D手・物体の統合予測手・物体予測2026/11/9
インターネット動画から手と物体の3D動作を再構成し、マスク付き時空間補完とフローマッチングで将来の手・物体の動きを統合的に予測する生成モデルを提案した論文。
- OpenTac:カスタマイズ可能でスケーラブルな3D触覚センシングのオープンエコシステム触覚2026/10/22
テキストや2D輪郭から自動設計できる抵抗式触覚スキンと、シミュレータ・転送学習・高速データ取得を含むエコシステムを構築し、30以上のロボット実装で3D触覚を活用した制御とマニピュレーション学習を実証した論文。
- キュレーション不要の記憶:ロボットポリシーのためのマルチストリーム潜在記憶学習VLA2026/10/9
視覚・行動・固有感覚などの複数ストリームを潜在記憶に圧縮し、推論時に逐次更新することで、低遅延かつショートカット学習を避けつつVLAモデルを長期記憶で拡張するフレームワークIMPRINTを提案。
- CASTERA: 合成動画からのゼロショットマニピュレーションを制約付き最適化として形式化マニピュレーション2026/10/8
動画生成モデルで作った合成動画からロボットの動作軌道を生成する問題を制約付き最適化として定式化し、物理的整合性とタスク整合性を保ちながら軌道を修正する枠組みを提案した。
- 振り返らない:一人称視点動画からの3D物体記憶における持続性の理解3D物体記憶2026/10/7
一人称視点動画から物体の位置・履歴・文脈を保持する持続的3D物体記憶「Ledger」を提案し、空間質問応答の精度を向上させた。
- 観察・推論・協調:ゼロショット協調のためのロボットパートナーの制約推論協調マニピュレーション2026/10/1
ロボットが別のロボットの物理的制約を共同行動から推論し、新しいタスクでゼロショット協調を実現するベンチマークと手法を提案。
- 日常動画から関節物体を再構成し操作を再現する実-to-シミュレーション手法sim2real2026/9/16
単眼RGB動画から、ドアや引き出しなどの関節物体のリンク分割・関節推定・3D再構成を行い、手の動きと合わせてシミュレーション上で操作を再現するフレームワークを提案。
- モーション・フォアサイト:将来の3Dシーンフロー予測のためのビデオモデルの再利用動作予測2026/7/17
人間と物体のインタラクションを含む単眼ビデオから、操作される物体上の点の将来の3D軌跡を予測する手法を提案。事前学習済みビデオモデルの知識を活用し、軽量なアダプタで将来予測を行う。
- 仮想人間デモからソフトロボットポリシーへの機能的な力認識リターゲティングソフトロボティクス/リターゲティング2026/4/1
ソフトロボットハンドに人間の操作スキルを教えるため、接触力を明示的に考慮した2段階の力認識リターゲティング手法を提案し、実世界での成功率を向上させた。
- LiLo-VLA: 物体中心ポリシー連携による長期的マニピュレーションの構成VLA2026/2/1
物体中心のVLAポリシーをモジュール化して連結し、未学習の長期的マニピュレーション課題にゼロショットで汎化するフレームワークを提案。
- RGB人間動画からの3D手-物体軌道再構成による巧みな操作ポリシーマニピュレーション2026/2/1
単眼RGB動画から人間の手と物体の3D軌道を再構成し、ロボットハンドへ転移することで、特別な装置なしに巧みな操作ポリシーを学習するフレームワークを提案。
- 推論から動作へ流れる:一人称視点の人間インタラクション動画から3D手軌道予測を学習手軌道予測2025/12/1
一人称視点のインタラクション動画を用いて、視覚言語推論と動作生成を軌道トークンで結びつけ、段階を考慮した3D手軌道を予測するフレームワークを提案。大規模データセットEgoMANも構築。
- スマートレンズから器用さを獲得:日常環境での人間デモによる多指ロボットマニピュレーションマニピュレーション2025/11/1
Aria Gen 2グラスで日常環境の人間の手の動きを収集し、ロボットデータなしで多指ハンドの3D点ベース方策を学習するフレームワークAINAを提案。
- SPIDER: スケーラブルな物理情報に基づく巧みなリターゲティングリターゲティング2025/11/1
人間の運動データを物理シミュレーションでロボットの動的に実行可能な軌道に変換し、大規模な巧みな操作ポリシー学習を可能にするフレームワークを提案。
- DemoDiffusion:事前学習済み拡散ポリシーを用いた一回の人間模倣模倣学習2025/6/1
人間の実演を一回だけ模倣してロボットに操作タスクを実行させる手法。運動学的リターゲティングで得た粗い軌道を、事前学習済みの汎用拡散ポリシーで修正することで、タスク固有の訓練や人間-ロボットのペアデータなしに新しいタスクやシーンに適応できる。
- Web2Grasp: ウェブ画像の手と物体のインタラクションから機能的な把持を学習マニピュレーション2025/5/1
ウェブ画像から人間の手と物体の3Dインタラクションを復元し、ノイズ除去と物理シミュレーションを経て、多指ロボットハンドの機能的な把持を学習する手法を提案。
- 意味的に制御可能な拡張による汎化可能なロボット学習sim2real2024/9/1
画像テキスト生成モデルをデータ拡張に活用し、ロボット操作データを多様化することで、未見の実環境への汎化を可能にする学習フレームワークを提案した。
- Gen2Act: 人間動画生成を活用した汎用ロボットマニピュレーションマニピュレーション2024/9/1
ウェブデータで学習した人間動画生成モデルを使い、生成された動画を条件にロボット方策を学習することで、未見物体や新規動作への汎化を実現した。
- Track2Act: インターネット動画からの点トラック予測による汎化可能なロボットマニピュレーションマニピュレーション2024/5/1
ウェブ上の人間やロボットの動画から画像内の点の動きを予測し、それを物体の剛体変換に変換してロボットの手先軌道を生成することで、未見の物体や場面でも適応なしに操作できる汎用的なマニピュレーション手法を提案した。
- 人間の行動計画の翻訳による汎用ゼロショットマニピュレーションマニピュレーション2023/12/1
人間の動画から行動計画を予測し、それをロボットの動作に変換することで、未見の物体やタスクに対しても訓練なしで対応できる汎用的なマニピュレーション手法を提案した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- RoboAgent: 意味的拡張と行動チャンキングによるロボットマニピュレーションの汎化と効率化マニピュレーション2023/9/1
意味的データ拡張と行動チャンキングで少量のデモから多様な操作スキルを学習する汎用ロボットエージェントを開発し、未知タスクで従来手法を40%以上上回る性能を示した。
- ロボット探索を導く視覚的アフォーダンス予測マニピュレーション2023/5/1
シーン画像から将来起こりうる状態の分布をTransformerとVQ-VAEで学習し、そのアフォーダンスモデルを目標サンプリング分布として使うことでロボットのマニピュレーション探索を導く手法を提案した論文。
- 受動的な人間動画からのゼロショットロボットマニピュレーションマニピュレーション2023/2/1
人間の多様な動画から手の軌道予測モデルを学習し、ロボットの身体に変換してゼロショットで粗いマニピュレーションを実現した。
- CACTI:スケーラブルなマルチタスク・マルチシーン視覚模倣学習のためのフレームワーク模倣学習2022/12/1
データ収集・拡張・視覚表現学習・模倣方策訓練の4段階からなるロボット学習フレームワークCACTIを提案し、実世界のキッチンで10タスク、シミュレーションで18タスク×100レイアウトの単一方策を効率的に訓練できることを示した。
- 単一目的で表現・潜在空間モデル・方策を学習するモデルベース強化学習の簡素化モデルベースRL2022/9/1
潜在空間モデルと方策を単一の目的関数で自己整合的に学習し、モデルベースRLのサンプル効率を向上させる手法を提案した。
- 視覚モデルベース強化学習におけるエンパワーメントによる情報の優先順位付けモデルベースRL2022/4/1
変分エンパワーメント項を相互情報量ベースの状態空間モデルに組み込み、行動と相関する機能的に重要な情報を優先して表現学習するモデルベースRL手法を提案し、視覚ロボット制御タスクで高いサンプル効率と性能を示した。
- ロボット学習の安全性とコンプライアンスを監査する安全性・監査2021/10/1
ロボット学習アルゴリズムの失敗モードや人間の意図との不一致を検出するための監査の必要性を論じ、高レベルの指針と枠組みの方向性を示した。
- 見て学ぶ:人間動画からの操作スキルの物理的模倣模倣学習2021/1/1
単一の人間動画からロボットの操作スキルを模倣学習する枠組みを提案し、教師なしの人間→ロボット変換とキーポイント検出で報酬と方策を学習する。
- 探索と転移のための潜在スキル計画強化学習/スキル転移2020/11/1
学習済み世界モデルとスキルを統合し、テスト時にスキルをオンライン計画で選択することで、歩行タスクのサンプル効率と転移性能を向上させた強化学習エージェントを提案。
- 保守的安全クリティックによる安全な探索安全強化学習2020/10/1
クリティックで状態の安全度を保守的に見積もり、訓練中の壊滅的失敗の確率を理論的に上限付きで抑えつつ探索を可能にする安全強化学習手法を提案し、ナビゲーション・マニピュレーション・歩行タスクで有効性を示した。
- ハイパーネットワークによる継続的モデルベース強化学習モデルベース強化学習2020/9/1
タスク条件付きハイパーネットワークを用いて、過去データを再訪せずに力学モデルを継続学習するHyperCRLを提案し、ロボットの歩行や操作タスクで有効性を示した。
- 到達可能領域のフロンティアに沿った潜在空間探索探索2020/5/1
画像で与えられた初期状態と目標状態から、到達可能な潜在状態のフロンティアを距離条件付き到達可能性ネットワークで推定し、その境界付近を優先的に探索する自己教師あり方策学習フレームワークを提案した。
- CEMと勾配降下を組み合わせたモデル予測制御モデル予測制御2020/4/1
CEMと勾配降下を交互に適用して行動系列を最適化する計画手法を提案し、高次元行動空間でも収束が速く局所解を回避できることを示した。
- MANGA: 手法非依存なニューラルポリシーの汎化と適応sim2real2019/11/1
ポリシー学習とシステム同定を分離し、未知のダイナミクス環境でも効率的に適応できるフレームワークMANGAを提案。強化学習・模倣学習の両方に適用可能で、MuJoCoエージェントで有効性を実証した。
- ナビゲーション方策の学習とsim2real転送を実現するデータ効率の良いフレームワークsim2real2018/10/1
シミュレーションでメタ学習したエンコーダとプランナを敵対的ドメイン転送と少数の実機デモの微調整で実環境ナビゲーションに転送する手法を提案。
