Huazhe Xu
Tsinghua University
収録論文 75本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 触覚でつなぐ人間からロボットへの巧みな操作の転送触覚/ヒューマン・トゥ・ロボット転送2026/10/29
触覚センサ付きウェアラブル端末で取得した人間の巧みな操作データを、物体形状や物理シミュレーションなしでロボットの訓練データに変換するフレームワークTouchBridgeを提案。VLAモデルの微調整に用い、接触の多い実タスクで72.5%の成功率を達成した。
- BURGER：描画タスクでロボットの汎化能力を測るベンチマークVLA2026/10/29
言語条件付きロボット描画の大規模ベンチマークBURGERを提案し、282タスク・28,200デモでVLAモデルのデータスケール・言語接地・マルチモーダル挙動を評価した。
- AdaTempo: 実演から共有相対テンポを学習しロボット操作を高速化模倣学習/マニピュレーション2026/10/2
実演の位相ごとの相対的な速さの共通構造を自己教師ありで抽出し、それを用いて訓練軌道を再サンプリングすることで、実行時の速度調整なしに視覚運動方策を最大3.57倍高速化する手法。
- 対話型アニマトロニクスロボットの顔機構の自動合成アニマトロニクス/顔機構設計2026/7/1
2Dポートレートから3D顔を再構築し、衝突のない製造可能な内部機構を自動設計するアルゴリズムを提案。さらに、会話中の発話・傾聴行動を統合する双方向対話型顔運動合成フレームワークも開発した。
- MemoryWAM: 持続的メモリによる効率的な世界行動モデリングマニピュレーション2026/6/1
ロボット操作のための世界行動モデルに、最近のフレーム、イベント境界アンカーフレーム、長期履歴を要約するコンパクトなgistトークンを組み合わせたハイブリッドメモリ設計を導入し、長期的な記憶依存タスクを効率的に処理する手法を提案した。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- 行動残差を超えて：ボトルネック潜在強化学習による実世界ロボットポリシーの操縦強化学習/模倣学習/操作2026/5/1
事前学習済みの模倣ポリシーを、行動空間ではなくボトルネック潜在空間で強化学習により微調整する手法ZPRLを提案し、シミュレーションと実世界の操作タスクで性能を向上させた。
- AffordGen: アフォーダンス対応による汎用物体操作のための多様なデモ生成模倣学習/データ生成2026/4/1
3D生成モデルと視覚基盤モデルを用いて、物体の意味的キーポイント対応に基づき多様な操作軌道を自動生成し、閉ループ視覚運動ポリシーの訓練データとして活用することで、未見物体へのゼロショット汎化を実現するフレームワークを提案した。
- AssemLM: ロボット組立のための空間推論マルチモーダル大規模言語モデルマニピュレーション2026/4/1
組立マニュアル、点群、テキスト指示を統合し、6D組立姿勢を予測する空間推論マルチモーダル大規模言語モデルを提案。専用の点群エンコーダと大規模ベンチマークAssemBenchを導入し、実ロボット評価で最先端性能を達成した。
- 万能ポリシー：幾何学を考慮した行動潜在表現による異種ロボット間操作マニピュレーション2026/3/1
異なるロボット間で共有可能な行動潜在表現を学習し、単一のポリシーで複数のロボットを操作するフレームワークを提案。
- ArrayTac：形状・硬さ・摩擦を連続的に提示する閉ループ圧電触覚ディスプレイ触覚2026/3/1
圧電アクチュエータアレイと閉ループ制御により、形状・硬さ・摩擦の3次元触覚を連続的に提示する触覚ディスプレイを開発し、遠隔腫瘍触診などへの応用を示した。
- UniDex: 人間の一人称視点ビデオからの汎用器用ハンド制御のためのロボット基盤スイート器用操作2026/3/1
人間の一人称視点ビデオからロボット実行可能な軌道を生成し、統一された行動空間と3D VLAポリシーを用いて、複数の器用ハンドへの汎用制御を実現する基盤スイートを提案した。
- ViTaS: 視覚触覚ソフト融合コントラスト学習による視覚運動学習マニピュレーション2026/2/1
視覚と触覚の情報をソフト融合コントラスト学習とCVAEで統合し、遮蔽環境でもロボット操作を可能にするフレームワークを提案。
- DexImit: 単眼人間動画からの両手巧みなマニピュレーション学習マニピュレーション2026/2/1
単眼の人間の操作動画を物理的に妥当なロボットデータへ自動変換する4段階パイプラインを提案し、両手巧みなマニピュレーションの学習を可能にした。
- 失敗を考慮した強化学習：自己回復を備えた実世界マニピュレーションのための信頼性の高いオフライン・オンライン強化学習マニピュレーション2026/1/1
実世界での強化学習中に発生する人間の介入が必要な失敗を減らすため、世界モデルベースの安全クリティックとオフラインで訓練された回復ポリシーを統合したFARLを提案し、失敗を73.1%削減しつつ性能を11.3%向上させた。
- MoE-DP：専門家混合で強化した拡散ポリシーによる長期的ロボット操作の堅牢化とスキル分解・失敗回復マニピュレーション2025/11/1
視覚エンコーダと拡散モデルの間に専門家混合層を挿入し、タスク段階ごとに専門家を動的に活性化することで、長期的操作の失敗回復と解釈可能なスキル分解を実現した。
- RL-100: 実世界強化学習による高性能ロボットマニピュレーションマニピュレーション2025/10/1
拡散視覚運動ポリシーに模倣学習と強化学習を統合し、軽量な蒸留で高速制御を実現した実世界ロボットマニピュレーションのフレームワーク。8つの多様な実タスクで100%の成功率を達成。
- Embodied Arena：具現化AIのための包括的・統合・進化型評価プラットフォーム評価基盤2025/9/1
具現化AIの能力を3階層・7能力・25次元で体系化し、22のベンチマークと30以上のモデルを統合評価する進化型プラットフォームを構築した。
- GalaxeaオープンワールドデータセットとG0デュアルシステムVLAモデルVLA2025/9/1
実環境で収集した大規模ロボット行動データセットを構築し、VLMによる計画とVLAによる実行を組み合わせた二重システムモデルG0を3段階学習で訓練した。
- DA-MMP: ダイナミクスを考慮した運動多様体プリミティブによる協調的で高精度な投擲の学習マニピュレーション2025/9/1
運動多様体プリミティブを可変長軌道に拡張し、実機試行から条件付きフローマッチングでダイナミクスを学習することで、リング投げタスクにおいて人間専門家を超える成功率を達成した。
- HERMES: 多源运动データからの人間→ロボット身体化学習による移動型巧みなマニピュレーションマニピュレーション2025/8/1
複数の人間の手の動きデータを強化学習で統合し、移動型双腕多指ハンドロボットの器用な操作を実現するフレームワークを提案。深度画像ベースのsim2real転移とPnP位置推定による自律ナビゲーションを組み合わせ、実環境での汎化性能を向上させた。
- Morpheus: ハイブリッド駆動と多様な感情制御を実現するニューラル駆動型アニマトロニクス顔アニマトロニクス/感情表現2025/7/1
剛体駆動と腱駆動を組み合わせたハイブリッド機構と、自己モデリングネットワークにより、音声から多様な感情表現を生成できるアニマトロニクス顔を開発した。
- DemoSpeedup：エントロピー誘導によるデモンストレーション加速で視覚運動ポリシーを高速化模倣学習2025/6/1
人間が収集した遅いデモを、フレームごとの行動エントロピーに基づいて間引き、精度が必要な区間はそのままに余裕のある区間を加速して学習させることで、成功率を保ちつつ最大3倍速く動く視覚運動ポリシーを実現した自己教師あり手法。
- 三重階層拡散方策による視覚運動学習VLA2025/5/1
RGB-D入力・多スケール視覚表現・階層的条件付き拡散を組み合わせ、視覚特徴と行動生成の統合を強化した視覚運動方策を提案。44のシミュレーションタスクで平均27.5%改善し、実機双腕タスクでも高性能を示した。
- FACET: インピーダンス参照追従による脚式ロボットの力適応制御脚式ロボット制御2025/5/1
仮想質量-バネ-ダンパ系を模倣する強化学習方策を訓練し、外力に応じて柔軟に適応する脚式ロボットの制御を実現した。
- 2BY2：汎用ロボット操作のためのマルチタスクペア物体組立学習マニピュレーション2025/4/1
日常的なペア物体の組立タスク18種を含む大規模データセット2BY2を構築し、同変特徴を用いた2段階SE(3)姿勢推定法で高精度な組立を実現した。
- AIとロボット科学者による科学発見のスケーリング則自律実験/ロボット科学者2025/3/1
エージェントAIと身体性ロボティクスを統合した自律型汎用科学者（AGS）を構想し、研究ライフサイクル全体の自動化と新たなスケーリング則の可能性を論じた論文。
- 反応的拡散ポリシー：接触の多い操作のための低速・高速視触覚ポリシー学習視触覚模倣学習2025/3/1
拡散ポリシーで低速に行動チャンクを生成し、高速な触覚トークナイザで閉ループ制御する視触覚模倣学習手法を提案し、接触の多い操作タスクでの性能を向上させた。
- DOGlove：低コストオープンソースの力覚フィードバックグローブによる巧みな操作遠隔操作/触覚2025/2/1
600ドル以下で自作できる力覚フィードバック付きグローブを開発し、ロボットハンドの遠隔操作と接触の多いタスクの模倣学習を実現した。
- シミュレート困難な目的関数の微調整による四足歩行：総消費電力削減の事例研究sim2real2025/2/1
実世界データでバッテリー消費電力などのシミュレート困難な目的をモデル化し、シミュレーションに組み込んで歩行ポリシーを微調整することで、四足歩行の総消費電力を24〜28%削減した。
- DemoGen: データ効率の良い視覚運動方策学習のための合成デモンストレーション生成模倣学習2025/2/1
タスクごとに1回の人間デモから、3D点群編集と行動軌道の適応により空間的に多様な合成デモを自動生成し、実世界のマニピュレーション方策の性能を大幅に向上させる手法を提案。
- DenseMatcher: 単一デモからのカテゴリレベル操作のための3Dセマンティック対応学習マニピュレーション2024/12/1
マルチビュー2D特徴をメッシュに投影して3Dネットワークで精錬し、関数写像で密な3D対応を計算する手法を提案。単一デモからのロボット操作のクロスカテゴリ汎化を実現。
- Stem-OB: 拡散逆変換による幹状収束観測を用いた汎化可能な視覚模倣学習模倣学習2024/11/1
事前学習済み拡散モデルの逆変換で観測画像から照明やテクスチャの違いを除去し、追加学習なしで視覚模倣学習の汎化性能を高めるプラグアンドプレイ手法を提案した。
- DTactive：能動表面を備えた視覚ベース触覚センサ触覚2024/10/1
表面が動く機構を組み込んだ視覚ベース触覚センサを開発し、触覚知覚と把持内操作を同時に実現、学習により物体の回転操作を高精度に制御した。
- MENTOR: タスク指向摂動を備えた視覚強化学習のためのMixture-of-Expertsネットワーク視覚強化学習2024/10/1
視覚強化学習のサンプル効率を改善するため、MLPをMixture-of-Expertsバックボーンに置き換え、タスク指向の摂動機構を導入した手法MENTORを提案。実機のマニピュレーションタスクで平均83%の成功率を達成した。
- ロボットがロボットを事前学習：大規模ロボットデータセットからの操作中心のロボット表現マニピュレーション2024/10/1
大規模ロボットデータセットDROIDを用い、視覚特徴と操作のダイナミクス（行動・固有感覚）を対比学習で結びつけた操作中心の基盤表現MCRを提案し、4シミュレーション領域20タスクで有効性を示した。
- 生成的ロボットシミュレーションの評価についてsim2real2024/10/1
生成されたロボットタスクの品質・多様性・汎化性を評価する枠組みを提案し、人間評価との高い一致を確認した。
- GenSim2: マルチモーダル推論LLMによるロボットデータ生成のスケーリングsim2real2024/10/1
マルチモーダル推論LLMを活用して多様なシミュレーションタスクとデモデータを自動生成し、生成データで学習するマルチタスク方策により実機へのゼロショット転移や実データとの共同学習で性能向上を実現した。
- キャッチせよ！移動型多指ハンドによる飛来物の捕球学習マニピュレーション2024/9/1
移動ベース・6自由度アーム・12自由度ハンドからなる移動マニピュレータで、飛んでくる物体を捕球する全身制御方策を2段階強化学習で訓練し、シミュレーションで約80%の成功率を達成、実機にも直接展開した。
- どこでも操作を学習する：強化学習のための視覚的汎化フレームワークsim2real2024/7/1
多視点表現学習と空間トランスフォーマー、カリキュラムベースのランダム化を組み合わせ、多様な視覚的擾乱下でも汎化する視覚運動強化学習フレームワークを提案し、実機転移を実証した。
- RoboGolf：反射的マルチモーダル視覚言語モデルによる実世界ミニゴルフの習得VLA2024/6/1
2台のカメラによる知覚と閉ループ行動修正、さらに反射的均衡ループを組み合わせたVLMベースの枠組みで、実世界のミニゴルフをプレイするロボットを実現した。
- RiEMann: 点群セグメンテーション不要の準リアルタイムSE(3)同変ロボットマニピュレーションマニピュレーション2024/3/1
シーン点群から対象物をセグメンテーションせずに直接操作目標姿勢を予測するSE(3)同変な模倣学習フレームワークを提案し、5〜10回のデモで学習して未知のSE(3)変換や妨害物体に頑健、準リアルタイムで動作することを示した。
- 3D拡散方策：単純な3D表現による汎化可能な視覚運動方策学習模倣学習2024/3/1
疎な点群から抽出したコンパクトな3D視覚表現を拡散方策に組み込み、少ないデモンストレーションで器用なロボット技能を汎化可能に学習する手法を提案した。
- 四足歩行ロボットの脚による実世界操作をデモンストレーションから学習マニピュレーション2024/3/1
四足歩行ロボットが脚のみを使って物体を操作できるよう、強化学習ベースの低レベル制御と模倣学習ベースの高レベル計画を組み合わせた手法を提案し、実機で籠の持ち上げやボタン押しなどを実現した。
- RoboDuet：四足ロボットの全身協調移動操作のための協調ポリシー学習移動操作2024/3/1
四足ロボットとアームの全身制御を、移動と操作の2つの協調ポリシーで実現し、類似形態のロボットへのゼロショット転移も可能にしたフレームワーク。
- DeformNet: 変形可能物体操作のための潜在空間モデリングと動力学予測マニピュレーション2024/2/1
PointNetと条件付きNeRFで物体の変形を3D表現し、RSSMで潜在表現の時間変化を予測することで、変形可能物体の操作を可能にする手法を提案し、実機UR5でも検証した。
- Premier-TACO：時間的行動駆動型対照損失によるマルチタスク表現の事前学習と少数ショット方策学習少数ショット学習2024/2/1
マルチタスクのオフラインデータから時間的行動対照損失（TACO）を改良して汎用的な視覚表現を事前学習し、少数の専門家デモンストレーションで微調整することで、新しい連続制御タスクの少数ショット模倣学習を効率化する手法を提案。
- RoboScript: 実機とシミュレーションをまたぐ自由形式マニピュレーションのためのコード生成マニピュレーション2024/2/1
ROS抽象化に基づく統一インターフェースで、コード生成による実機・シミュレーション両対応のロボットマニピュレーションパイプラインと自由記述タスクのベンチマークを提案。
- Robo-ABC: 意味的対応関係によるカテゴリを超えたアフォーダンス汎化マニピュレーション2024/1/1
人間の動画から接触点を含むアフォーダンス記憶を抽出し、拡散モデルによる意味的対応関係を利用して未知物体へ接触点を転移することで、ゼロショットでカテゴリ外の物体操作を可能にするフレームワークを提案。
- DittoGym：柔軟な形状変化ロボットの制御を学習するソフトロボティクス2024/1/1
生涯を通じて形態を変化させられる再構成可能なソフトロボットの制御を、強化学習で実現する手法とベンチマークを提案。
- Segment Anything Modelによる汎化可能な視覚強化学習視覚強化学習2023/12/1
SAMのプロンプト可能なセグメンテーション能力を活用し、DINOv2とSAMの特徴対応から点プロンプトを生成して高品質なマスク画像をエージェントに与えることで、視覚強化学習の汎化性能を向上させるフレームワークSAM-Gを提案した。
- 拡散報酬：条件付き動画拡散による報酬学習強化学習2023/12/1
専門家の動画から条件付き動画拡散モデルを用いて報酬を学習し、複雑な視覚強化学習タスクを解く手法を提案。
- Uni-O4: マルチステップオンポリシー最適化によるオンライン・オフライン強化学習の統合強化学習2023/11/1
オンラインとオフラインの強化学習を同一のオンポリシー目的関数で統合し、追加の保守性や正則化なしにシームレスな事前学習・微調整を可能にした手法を提案。
- GenSim: 大規模言語モデルによるロボットシミュレーションタスクの生成sim2real2023/10/1
大規模言語モデルを活用して、ロボットシミュレーションの多様なタスクと専門家デモを自動生成する手法を提案し、タスクレベルの汎化性能を大幅に向上させた。
- H-InDex: 人間の手に着想を得た視覚表現による巧みな操作のための強化学習マニピュレーション2023/10/1
人間の手の姿勢推定で視覚表現を事前学習し、自己教師ありキーポイント検出と強化学習で微調整することで、12の難易度の高い巧みな操作タスクを達成した研究。
- 手渡し型模倣学習のためのウェアラブルロボットハンドマニピュレーション2023/9/1
ウェアラブルなロボットハンド「HIRO Hand」を開発し、操作者が自身の触覚フィードバックを利用して把持やハンド内操作を模倣学習できるようにした。
- 9DTact: 高精度3D形状復元と汎用6D力推定を実現するコンパクトな視覚触覚センサ触覚2023/8/1
半透明ゲルの光学特性を利用し、マーカーなしで3D形状復元と6D力推定を行う小型・低コストな視覚触覚センサを開発した。約10万組の画像-力データで学習し、未知物体にも汎化可能。
- 事前学習済みテキスト画像生成モデルで強化学習の視覚的ゴールを生成できるかVLA2023/7/1
テキスト指示から画像編集でゴール画像を作り、ゴール識別器で報酬を与えてロボットを強化学習する手法を提案し、専門家デモなしで学習できることを示した。
- MoVie: 視点汎化のための視覚モデルベース方策適応視覚強化学習2023/7/1
視覚強化学習エージェントが未知の視点に適応できるよう、テスト時に報酬信号なしでモデルベース方策を適応させる手法を提案し、18タスクで大幅な性能向上を達成した。
- ArrayBot：触覚による汎用的な分散マニピュレーションのための強化学習マニピュレーション2023/6/1
触覚センサ付きの16×16垂直スライドピラーアレイを用い、強化学習で多様な物体を触覚のみで操作できる分散マニピュレーションシステムを開発した。
- RoboCook: 多様な道具を用いた長期的な弾塑性物体操作マニピュレーション2023/6/1
点群表現とGNNで道具と物体の相互作用をモデル化し、道具ごとに20分の実データから長期の柔軟物体操作（餃子やクッキー作り）を学習するロボットシステム。
- ランダムフレーム欠落下でのDecision Transformerオフライン強化学習2023/3/1
オフライン強化学習において、フレーム欠落に頑健なDeFogを提案し、欠落率90%でも高性能を維持する。
- 視覚運動制御における事前学習の再検討：スクラッチ学習ベースラインの再評価視覚運動制御2022/12/1
視覚運動制御タスクにおいて、データ拡張と浅いConvNetを用いた単純なスクラッチ学習ベースラインが、大規模視覚データセットで事前学習した表現を用いる最近の手法（PVR, MVP, R3M）と競合することを示し、事前学習データとベンチマーク間のドメインギャップの影響を明らかにした。
- 見て、聞いて、感じる：ロボットマニピュレーションのためのスマートセンサリーフュージョンマニピュレーション2022/12/1
視覚・聴覚・触覚を自己注意モデルで融合し、密詰めや注ぎといった複雑なマニピュレーションタスクを高精度に実現するロボットシステムを構築した。
- 暗黙的微分による微分可能計画法の大規模化と安定化計画/微分可能計画2022/10/1
ベルマン不動点方程式を微分することで順伝播と逆伝播を分離し、Value Iteration Networkを大規模タスクへスケールアップできるようにした研究。
- タスク無関係区間を考慮した模倣学習模倣学習2022/10/1
実世界のデモに含まれるタスクと無関係な区間を自己教師あり学習で除外し、視覚運動方策を学習する手法を提案した。
- マルチタスク方策学習から創発する単純な行動表現強化学習2022/10/1
マルチタスク方策ネットワークに状態とタスク埋め込みを入力すると意味のある行動表現空間が創発し、埋め込みの補間や合成で行動系列を指示できることを示した研究。
- DTact: 暗闇から高解像度3D形状を直接計測する視覚ベース触覚センサ触覚2022/9/1
半透明エラストマーの反射特性を利用し、触覚画像の暗部から高解像度3D形状を計測する、低コストで頑健な視覚ベース触覚センサDTactを開発した。姿勢推定や物体認識タスクで有効性を示した。
- USEEK: 汎化可能な操作のための教師なしSE(3)同変3Dキーポイントマニピュレーション2022/9/1
単一物体の把持デモからカテゴリ内の未知物体を任意姿勢で操作するため、教師なしでSE(3)同変な3Dキーポイントを学習する手法を提案。
- RoboCraft: グラフネットワークで弾塑性物体を見て・シミュレートし・形作る学習変形物体マニピュレーション2022/5/1
RGBD画像から粒子表現を構築し、グラフニューラルネットで弾塑性物体のダイナミクスを学習、モデル予測制御で未知の目標形状へ変形させるロボットシステムを提案。
- クロスモーダルTransformerによる視覚誘導型四足歩行のエンドツーエンド学習歩行2021/7/1
固有感覚と深度画像をTransformerで統合し、障害物や不整地を先読みして歩行する四足ロボットの強化学習手法を提案。シミュレーションから実機へ転移し、未知環境での汎化性能を大幅に向上させた。
- 器用な手と触覚でピアノを弾く学習への挑戦マニピュレーション2021/6/1
強化学習を用いて、楽譜から直接ピアノ演奏を器用な手で学習する手法を提案し、触覚を活用した報酬とカリキュラムでリズムや音量、運指の要求に対応できることを示した。
- 分離注意による本質的正則化で安全かつ効率的な両腕マニピュレーション両腕マニピュレーション2021/6/1
2台のロボットが協調して疎な報酬の両腕操作タスクを解く際、片方のロボットが独占したり衝突したりする問題を、分離注意による本質的正則化で解決し、より安全で効率的な協調戦略を実現した。
- PyTouch：触覚信号処理のための機械学習ライブラリ触覚2021/5/1
触覚センサの生データを制御や意思決定に使える高次信号へ変換する、モジュール式で使いやすいオープンソースの機械学習ライブラリPyTouchを提案し、接触検出や滑り・物体姿勢推定で評価した。
- ソフトモジュール化によるマルチタスク強化学習マニピュレーション2020/3/1
ポリシーをモジュール化し、タスクごとにルーティングネットワークで柔軟に組み合わせることで、複数のロボット操作タスクを効率的に学習する手法を提案した。
