Mustafa Mukadam
Amazon
収録論文 49本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- データ効率の良い巧みな操作のための潜在RL事前分布マニピュレーション2026/11/5
大規模RLの制御知識を流れマッチング型行動デコーダに蒸留し、視覚のみの行動教師で潜在文脈へ適応させる2段階フレームワークを提案。少ないデモで巧みな操作を実現。
- 全身巧みさ全身マニピュレーション2026/10/15
ロボットの全身を接触面として使い、大きな物体を把持・操作するフレームワークを提案し、Unitree G1で実機検証した。
- TouchScale:視覚と触覚の大規模ヒューマンインタラクションデータセット触覚2026/10/7
単一のウェアラブル装置で収録した500時間の接触豊富な人間の行動データを構築し、視覚-触覚学習の事前学習に用いることで、未知の触覚センサへのゼロショット予測やロボットの接触を伴う操作タスクの成功率を大幅に改善した。
- サポート制約付きRLによる実世界経験なしの実世界ポリシー改善強化学習2026/6/1
実データで事前学習したポリシーをシミュレーション内でRLにより改善する際、生成ポリシーのサポートに制約を課すことで、転移可能な行動を保証しつつ性能を向上させる手法SCOREを提案。8つの器用な多指操作タスクで成功率を大幅に改善した。
- PTLD: 触覚潜在一貫性蒸留によるシミュレーションから実世界への巧みな操作触覚/操作/sim2real2026/3/1
触覚センサのシミュレーションを必要とせず、実世界の特権センサから収集したデータを用いて触覚入力に基づく状態推定器を蒸留し、シミュレーションで訓練した操作ポリシーを向上させる手法を提案した。
- HydroShear: 触覚シミュレーションから実機への強化学習のためのハイドロエラスティックせん断シミュレーション触覚/sim2real2026/3/1
本論文では、接触を伴うタスクにおける触覚のシミュレーションから実機へのポリシー転送の問題を扱い、非ホロノミックなハイドロエラスティック触覚シミュレータHydroShearを提案する。これは、スティックスリップ遷移、経路依存の力とせん断の蓄積、完全なSE(3)物体-センサ相互作用をモデル化し、GelSight Miniを用いた実験で既存手法より忠実に実触覚せん断を再現し、ゼロショットのsim-to-real転送を可能にする。
- 視触覚ワールドモデル触覚2026/2/1
視覚に触覚を組み合わせて接触の物理を学習するマルチタスクワールドモデルを提案し、接触の多い操作タスクでの想像・計画性能を向上させた。
- TactAlign: 触覚アライメントによる人間からロボットへのポリシー転送触覚2026/2/1
触覚グローブで収集した人間の触覚信号を、異なる身体を持つロボットに転送するクロスエンボディメント触覚アライメント手法を提案。ペアデータ不要で、接触の多いタスクでのポリシー転送性能を向上させる。
- ピクセルを超えた触覚:ロボットマニピュレーションのためのマルチセンサリ触覚表現触覚2025/6/1
画像・音・動き・圧力の4つの触覚モダリティを自己教師あり学習で統合した表現Sparsh-Xを提案し、模倣学習やsim-to-real適応において成功率とロバスト性を大幅に向上させた。
- 巧みなロボットハンドの触覚スキン向け自己教師あり知覚触覚2025/5/1
磁気触覚スキンを持つロボットハンド全体の触覚と運動履歴から自己教師あり学習で汎用表現を獲得し、状態推定や方策学習の性能を大幅に向上させた。
- OTTER: テキスト認識型視覚特徴抽出を備えた視覚-言語-行動モデルVLA2025/3/1
言語指示に意味的に対応する視覚特徴だけを選択的に抽出して行動予測に用いるVLAアーキテクチャを提案し、事前学習済みの視覚言語モデルを凍結したまま高いゼロショット汎化を実現した。
- 幾何学的リターゲティング:原理的で超高速なニューラルハンドリターゲティングテレオペレーション2025/3/1
人間の手指キーポイントをロボットハンドに1kHzで変換する超高速・高精度なニューラルリターゲティング手法を提案。教師なし学習と幾何学的目的関数により、手動アノテーション不要でリアルタイムテレオペレーションを実現。
- DexterityGen:前例のない器用さを実現する基盤コントローラマニピュレーション2025/2/1
強化学習で大規模な器用な動作プリミティブを事前学習し、それを基に基盤コントローラを訓練。人間の遠隔操作をプロンプトとして実世界で高度な器用操作を実現する。
- Sparsh: 視覚ベース触覚センシングのための自己教師あり触覚表現触覚2024/10/1
視覚ベース触覚センサ向けに、460k以上の触覚画像を用いたマスク付き自己蒸留による自己教師あり事前学習で汎用触覚表現を獲得し、標準ベンチマークTacBenchで従来のタスク・センサ特化型学習を平均95.1%上回った。
- 触覚・視覚・言語を統合するマルチモーダルデータセット触覚2024/2/1
44Kの視覚-触覚ペアに言語ラベルを付けたデータセットを構築し、触覚・視覚・言語を統合した生成モデルを訓練した。
- 触覚を感じるニューラルフィールド:ハンド内操作のための視触覚知覚マニピュレーション2023/12/1
視覚と触覚を組み合わせ、ニューラルフィールドをオンライン学習して物体の形状と姿勢を推定する手法NeuralFeelsを提案。ハンド内操作中の遮蔽に強く、視覚のみより最大94%の追跡改善を実現。
- 触覚から外部接触を知覚することで挿入ポリシーの学習が改善する触覚2023/9/1
グリッパと物体間の触覚から物体と環境の外部接触を推定するNCFを改良し、実機で機能するようにして挿入タスクのポリシー学習に用いたところ、成功率と速度が向上した。
- 分散化と加速による大規模バンドル調整SLAM/バンドル調整2023/5/1
再投影誤差を再定式化し、デバイス間で最適化変数を分離する代理関数を導出することで、大規模バンドル調整を完全分散・並列に解く手法を提案。Nesterov加速と適応的リスタートで収束を高速化し、Ceres比最大953.7倍、DeepLM比174.6倍の速度向上を達成。
- USA-Net: ロボット記憶のための統合意味・アフォーダンス表現VLA2023/4/1
シーンの意味と空間的アフォーダンスを微分可能な地図に統合し、オープン語彙の指示に基づく勾配ベースのプランナを実現した。
- 点字を読む学習:拡散モデルで触覚のリアリティギャップを埋める触覚2023/4/1
拡散モデルを用いてシミュレーションの接触深度からリアルな触覚画像を生成し、実機の点字読み取りタスクで分類精度75.74%を達成した研究。
- ロボットマニピュレーションのためのニューラル把持距離場マニピュレーション2022/11/1
把持学習を連続的な距離場として定式化し、軌道最適化と統合することで、未知の姿勢や物体形状にも汎化する把持・動作計画を実現した。
- 触覚センシングを用いた把持内重力ピボット操作マニピュレーション2022/10/1
把持点周りの物体回転を制御するため、滑りを積極的に利用し、触覚情報からLSTMで角度と角速度を推定して把持を開閉する制御手法を提案した。
- MidasTouch:スライディング触覚における分布のモンテカルロ推論触覚2022/10/1
視覚ベース触覚センサが物体表面を滑る際のオンライン大域位置推定システムを提案。触覚コードネットワークと粒子フィルタで表面形状を推定し、YCB-Slideデータセットも公開。
- ニューラルコンタクトフィールド:触覚センシングによる外部接触の追跡触覚2022/10/1
触覚センシングとニューラルフィールドを組み合わせ、物体と環境間の外部接触位置を任意の接触形状で追跡する手法を提案。接触の有無の遷移も捉え、未知形状の物体にも適用可能。
- Theseus: 微分可能な非線形最適化ライブラリ最適化2022/7/1
PyTorch上で微分可能な非線形最小二乗最適化を実現する汎用ライブラリを提案し、ロボティクスや視覚における構造化学習を効率化する。
- TASKOGRAPHY: 大規模3Dシーングラフ上でのロボットタスク計画の評価タスク計画2022/7/1
3Dシーングラフ上でのロボットタスク計画を評価する初の大規模ベンチマークを構築し、グラフの間引き手法SCRUBと学習ベース計画の構造活用手法SEEKを提案した。
- iSDF:ロボット知覚のためのリアルタイム神経符号付距離場3D再構成2022/4/1
移動カメラの深度画像列からニューラルネットワークを自己教師あり学習させ、リアルタイムに符号付距離場を再構成するシステムを提案した論文。
- 微分可能な非把持平面マニピュレーション学習レシピマニピュレーション2021/11/1
動画から物体の平面運動を再現する接触を考慮したロボット動作を、微分可能最適化と有限差分シミュレーションを組み合わせて学習する手法を提案。
- 触覚画像から表面法線を学習するパッチグラフによる把持中物体追跡触覚2021/11/1
触覚画像から局所表面法線を推定し、その法線をファクターグラフで統合することで、事前形状情報なしに把持中の物体の3D姿勢を追跡する手法を提案した。
- LEO: 因子グラフ最適化におけるエネルギーベースモデルの学習SLAM/状態推定2021/8/1
微分不可能なグラフ最適化器をループ内に含めて観測モデルをend-to-endで学習するエネルギーベース手法LEOを提案し、ナビゲーションと実世界の平面押しタスクで有効性を示した。
- Habitat 2.0:家庭用アシスタントロボットの訓練プラットフォームsim2real2021/6/1
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
- スパース制約定式化による3D人体姿勢・形状推定の最適化高速化姿勢推定2021/5/1
3D人体姿勢・形状推定の最適化をスパース制約付き定式化で再構築し、従来法と数学的に等価ながら4msで収束するリアルタイム手法SCOPEを提案した論文。
- Where2Act:関節物体に対するピクセルから行動への変換アフォーダンス2021/1/1
画像と深度から、関節物体の各ピクセルで可能な押す・引くなどの操作と動く領域を予測するネットワークを提案し、シミュレーションで学習してカテゴリを超えて汎化する。
- 触覚モデル学習による因子グラフベースの物体姿勢推定触覚2020/12/1
触覚画像のペアからセンサの相対姿勢を予測する観測モデルを学習し、因子グラフに組み込むことで、平面押し動作中の物体姿勢を触覚のみで追跡する手法を提案した。
- ニューラル動的ポリシー:エンドツーエンドの感覚運動学習強化学習2020/12/1
二階微分方程式で行動空間を再パラメータ化し、軌道分布空間で予測するニューラル動的ポリシーを提案。模倣学習と強化学習の両方で従来手法を上回る。
- グラフ上のサンプリングと軌道最適化を統合したオンライン動作計画動作計画2020/11/1
サンプリングと軌道最適化を交互に組み合わせ、長期的な動的環境での高速オンライン動作計画を実現する手法を提案し、ベンチマークで有効性を示した。
- バッテリー・カメラ・アクション!表現豊かなロボット撮影のための意味的制御空間の学習ドローン撮影2020/11/1
ドローン撮影において「穏やか」「楽しい」などの意味的な指示からカメラ軌道パラメータを生成するデータ駆動型フレームワークを構築し、シミュレータと実世界で有効性を示した論文。
- RMPflow:マルチタスク動作ポリシー生成のための幾何学的フレームワークマニピュレーション2020/7/1
リーマン運動ポリシー(RMP)を幾何学的に整合させて統合するRMPflowを提案し、動的環境での複数タスクの反応的動作生成を効率化した。
- 微分可能なニュートン・オイラー法に物理制約を組み込むダイナミクス学習2020/1/1
微分可能なRNEAにパラメータ構造化で物理制約を加え、実機7自由度アームの逆動力学制御で学習速度と汎化性能の向上を検証した。
- 学習可能なLyapunov関数整形によるリーマン運動ポリシーの融合ポリシー融合2019/10/1
RMPflowのサブタスクポリシー設計の難しさを解決するため、重み関数でLyapunov関数を階層的に整形するRMPfusionを提案し、学習可能かつ大域的安定性を保証することを示した。
- ガウス過程推論による複数ホモトピー類のオンライン動作計画動作計画2019/8/1
動的環境で複数の経路候補(ホモトピー類)を同時に保持し、毎ステップで到達不能部分を刈り込んで再最適化することで、ロボットが経路を動的に切り替えられるオンライン計画手法を提案した。
- 微分可能なガウス過程モーションプランニングモーションプランニング2019/7/1
GPMP2アルゴリズムを微分可能に拡張し、過去の経験からパラメータを自動学習できるようにした研究。
- 視覚触覚センシングによる運動学・力軌道の統合推定触覚2019/3/1
平面押し作業において、視覚トラッカーと触覚/力覚センサの生データを因子グラフ上の確率推論で融合し、ロボット・物体・接触状態の運動学と力をバッチ/逐次で同時推定する手法を提案した。
- リーマン運動ポリシーを用いたマルチロボット系の多目的ポリシー生成群制御2019/2/1
多目的タスクをサブタスクに分解し、各サブタスクの制御器をリーマン運動ポリシーとして設計・統合することで、ロボット間やサブタスク間の相互作用を暗黙的に扱うマルチロボット制御ポリシー生成フレームワークを提案した。
- RMPflow:自動運動ポリシー生成のための計算グラフマニピュレーション2018/11/1
リーマン運動ポリシー(RMP)を幾何学的に整合させて組み合わせ、個別タスクの局所ポリシーから計算効率の良い大域的運動ポリシーを自動生成する手法を提案し、高自由度マニピュレーションの障害物回避で有効性を示した。
- 散らかった環境での実演から汎化可能なロボットスキルを学習する手法模倣学習2018/8/1
雑然とした環境での人間の実演から、不要な物体の影響を抑えつつ本質的な行動を捉える重要度重み付きバッチ・逐次スキル学習法を提案し、7自由度マニピュレータで検証した。
- 軌道推定と計画の同時求解フレームワークSTEAP軌道計画2018/7/1
連続時間軌道を毎時刻計算し、その過去部分を推定、未来部分を計画として同時に解く確率推論手法を提案し、移動マニピュレータで実証した。
- 確率的推論による連続時間ガウス過程モーションプランニング運動計画2017/7/1
連続時間軌道の運動計画を確率的推論として定式化し、スパースガウス過程と因子グラフに基づく高速なGPMP2と増分再計画アルゴリズムiGPMP2を提案した論文。
- 確率的推論による連続時間運動計画・制御の近似最適化運動計画2017/2/1
ガウス過程と確率的推論を用いて、高次非線形な評価指標を持つ連続時間確率システムの運動計画・制御を効率的に近似最適化するPIPCアルゴリズムを提案した。
