Xinghao Zhu
NVIDIA
収録論文 32本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 物理語彙でロボット操作の潜在推論を構造化する基盤モデルVLA2026/10/19
動作を表す原子動詞を『物理語』として潜在表現の意味的アンカーに用い、将来の観測と整合する形で自己回帰的に予測することで、ロボット操作の構造化された推論を実現した基盤モデル。
- Hydra-0: 汎用世界モデリングと制御のためのアクションフロー世界モデル2026/8/18
ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。
- 人間のデモから接触力ガイダンスを用いた器用操作の学習器用操作2026/7/1
人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。
- Sumo: 動的かつ汎用的な全身ロコ操作ロコ操作2026/4/1
事前学習した全身制御ポリシーをテスト時にサンプルベースのプランナーで操縦することで、脚式ロボットが大型・重量物を動的に操作できるようにするsim-to-real手法を提案。実機のSpotでタイヤの直立やバリアの引きずり等を実証し、シミュレーションで人型ロボットへの汎用性も示した。
- SAGA: 構造的アフォーダンス接地によるオープンワールド移動マニピュレーション移動マニピュレーション2025/12/1
マルチモーダル基盤モデルを用いてタスク意図を3Dアフォーダンスヒートマップとして接地し、言語・点指定・実演など多様な指示で四足歩行マニピュレータの全身制御を実現するフレームワークを提案。
- サンプリングベースMPCのための生成モデル:適応的な接触リッチマニピュレーションのためのブートストラップ手法マニピュレーション2025/10/1
サンプリングベースMPCの制御列を条件付きフローマッチングで学習し、オンライン計画を効率化する生成予測制御フレームワークを提案。四足ロボットの実世界接触リッチ移動マニピュレーションに初めて適用し、サンプル効率と汎化性能を向上させた。
- Ask-to-Clarify: マルチターン対話による指示の曖昧性解消VLA2025/9/1
VLAモデルに対話による曖昧性解消と視覚運動制御を統合したフレームワークを提案し、実世界11タスクで有効性を示した。
- 柔軟な肢間協調による多様な移動操作移動操作2025/6/1
強化学習で各肢を操作と移動に動的に割り当て、目標軌道・接触点・言語指示に応じて多様な移動操作を実現する手法を提案。実機12タスクで平均78.9%の成功率を達成。
- 実時間動作・接触計画と追従を統合したロバストなモデルベース手指内マニピュレーションマニピュレーション2025/5/1
接触を暗黙的に扱うモデル予測制御と触覚フィードバックによる力・動作追従を階層的に統合し、モデル誤差に頑健なモデルベースの手指内マニピュレーションを実現した。
- ReBot: 実機からシミュレーションを経て実機へ戻るロボット動画合成によるロボット学習のスケーリングsim2real2025/3/1
実機のロボット軌道をシミュレーションで再生して対象物体を多様化し、実背景と合成することで物理的にリアルで時間的一貫性のあるロボット動画を生成し、VLAモデルを対象領域に適応させる手法を提案。
- 接触の多い両腕マニピュレーションのための計画誘導拡散ポリシー学習マニピュレーション2024/12/1
モデルベースの動作計画器で高忠実度シミュレーション内に大規模なデモを生成し、タスク条件付き拡散ポリシーを模倣学習することで、多様な物体を扱う接触の多い両腕操作を実世界で実現した。
- DexH2R: 人間からロボットへのタスク指向巧みな操作マニピュレーション2024/11/1
人間の手の動きをロボットハンドに再ターゲットし、タスク指向の残差行動ポリシーを学習させることで、テレオペレーションなしに巧みな操作を実現するフレームワーク。
- 適応的エネルギー正則化による四足歩行の自律的歩容遷移と省エネルギー化歩行2024/3/1
エネルギー消費を最小化する適応的な報酬設計により、四足ロボットが速度に応じて歩容を自律的に切り替え、省エネで安定した移動を実現する手法を提案した。
- 触覚センシングを備えた巧みな指による変形可能な線状物体のハンド内追従マニピュレーション2024/3/1
触覚センサ付き多指ハンドを使い、線状物体を落とさずに指先で滑らせながら把持点を連続的に移動させる「ハンド内追従」を実現する枠組みを提案した。
- 接触陰的モデル予測制御による巧みなハンド内操作:長期的かつロバストなアプローチマニピュレーション2024/2/1
接触陰的モデル予測制御を用いて、事前に接触順序を定義せずに長期的なハンド内操作を実現するモデルベース手法を提案。23自由度のロボットで20Hzの物体回転タスクを達成。
- PhyGrasp: 物理常識推論でロボット把持を汎化するマルチモーダル大規模モデルマニピュレーション2024/2/1
言語と3D点群を統合した大規模モデルで物体の物理的性質を推論し、未知の素材や形状でも人間の指示に沿った把持姿勢を生成する。
- 大規模言語モデルを用いた部分観測ロボティクスタスクの対話型プランニングVLA2023/12/1
部分観測環境でロボットが不足情報を収集しながら状態を推定し、LLMが対話的に行動を計画する手法を提案。GPT-4とファインチューニングしたLlama 2を比較し、シミュレーションと実環境で検証した。
- ロボット組立のためのマルチレベル推論:シーケンス推論から接触選択までマニピュレーション2023/12/1
部品の組立順序を推論するニューラルネットワークPASTと大規模データセットD4PASを提案し、動作計画と接触最適化を組み合わせた組立計画フレームワークを構築した。
- オンラインアドミタンス残差学習による接触の多いマニピュレーションスキルの効率的なSim-to-real転移sim2real2023/10/1
シミュレーションで強化学習により動作とコンプライアンス制御パラメータを獲得し、実機では力センサを用いて制御パラメータの残差をオンライン学習することで、接触の多い組立・回転・ねじ締めタスクを効率的に実世界へ転移する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- Diff-Transfer: 微分可能物理シミュレーションによるモデルベースのロボットマニピュレーションスキル転移マニピュレーション2023/10/1
微分可能物理シミュレーションを活用し、習得済みのロボットスキルを類似した新規タスクへ効率的に転移するフレームワークDiff-Transferを提案。タスク空間内の経路をQ学習で計画し、隣接サブタスク間で勾配情報に基づき動作を適応させる。
- 近似動的モデリングによるソフト空気圧アクチュエータの制御ソフトロボティクス2023/10/1
シリンジポンプとソフト空気圧アクチュエータのシステム全体をモデル化し、LQR制御で高速・高精度な応答を実現、繊細な物体の把持にも成功した。
- ロボットマニピュレーションのための人間指向表現学習マニピュレーション2023/10/1
人間の知覚スキルを模したマルチタスク微調整とTask Fusion Decoderにより、視覚エンコーダの表現をロボット操作タスク向けに改善する手法を提案。
- 配置制約を利用した汎用的なタスク指向ピッキングのシンプルなアプローチマニピュレーション2023/4/1
把持検出に配置制約を組み込むことで、再学習なしに様々な下流タスクや環境変化に対応できる汎用的なピック・プレース枠組みを提案した。
- ロボットの目標到達における安全な接触の許容:操作空間とヌル空間での計画と追従マニピュレーション2022/11/1
ロボットマニピュレーションにおいて、環境との安全な接触を許容しながら目標到達するため、操作空間とヌル空間でコンプライアンス参照信号を生成・追従する手法を提案し、衝突を許容する軌道を最適化するハイブリッドソルバを開発した。
- 視覚触覚センサの画像から体積メッシュを生成する学習手法触覚2022/3/1
視覚ベース触覚センサの画像から変形エラストマーの体積メッシュをGNNで推定し、自己教師あり適応で実世界や未知接触にも対応できるようにした研究。
- グラフニューラルネットワークを用いたケーブル操作のための変形モデルのオフライン・オンライン学習変形物体操作2022/3/1
GNNでシミュレーションからケーブルの変形ダイナミクスを学習し、実機とのギャップをオンラインで線形残差モデルにより補正、MPCと組み合わせてロバストな操作を実現した。
- 少ない教師データで把持を学習する最尤把持サンプリング損失マニピュレーション2021/10/1
画像あたりの把持ラベルが少ないデータでも学習できるよう、把持分布からの確率的サンプリングを仮定した最尤損失を提案し、従来の8倍少ないラベルで90.7%の把持成功率を達成した。
- 離散連続ハイブリッド行動空間による挿入プリミティブの学習:ロボット組立タスクへの応用組立/挿入・強化学習2021/10/1
挿入プリミティブを離散的なプリミティブ種別と連続パラメータのハイブリッド行動として定式化し、過大評価を抑えるTwin-Smoothed MP-DQNで学習する手法を提案。実機・シミュレーションで高い成功率とsim2real転移を示した。
- 6自由度コントラスティブ把持提案ネットワークマニピュレーション2021/3/1
単視点深度画像から6自由度の把持姿勢を推定するCGPNを提案し、合成データ学習にコントラスティブ学習と画像処理を加えて実機への転移性能を高めた。
- 不確実性下におけるペグインホール組立のための接触姿勢識別マニピュレーション2021/1/1
ペグと穴の接触測定列をCNNで分類し、接触姿勢を推定してアドミタンス制御で組立を完了する手法を提案。形状の異なる組立やsim-to-realギャップの緩和も実証した。
- 多指ハンドによる精密把持計画の最適化モデルマニピュレーション2019/4/1
ノイズを含む点群を入力とし、手のひら姿勢と指関節位置を反復最適化して衝突のない精密把持を高速に探索する手法を提案した。
