Hang Zhao
Tsinghua University
収録論文 81本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ActionCodec2: ストリーミング動作トークナイザVLA2026/11/11
軌道再構成誤差を許容範囲内に保ちつつ動作を逐次的に出力する非ニューラルなストリーミング動作トークナイザを提案し、VLAモデルの性能と閉ループ制御を改善した。
- EqC: 自己認識的な生涯ロボット学習のための平衡エネルギー制御VLA2026/10/13
生成的行動の洗練を平衡探索最適化として捉え、その過程のエネルギー整合性から方策の能力限界を検知して専門家介入を促す、生涯学習フレームワークを提案。
- DexNinja: 実機からシミュレーションを経て実機へ戻すデータエンジンによる頑健な器用な切断ポリシーの学習マニピュレーション2026/10/12
実機の少数のデモからシミュレーションでデータを増強し、食品切断タスクを器用にこなすロボットポリシーを学習するreal2sim2realフレームワークを提案。
- WB-WAM：ヒューマノイド移動操作のための異種全身・手事前学習VLA2026/9/28
身体・ルート・巧みな手の動作を統合した行動空間で動画と行動を事前学習し、人間の動作データを活用してヒューマノイドの移動操作をデータ効率的に学習する手法を提案。
- フローマッチングにおける条件付きアニーリングによる因果的行動トークン化の再考VLA2026/9/28
フローマッチングを段階的にアニーリングして因果構造を持つ行動トークンを抽出するCATokを提案し、VLAモデルの再構成精度・推論効率・タスク成功率を向上させた。
- World SLAM Model：SLAMとナビゲーションのための統合世界モデリングVLA2026/9/26
SLAMの逐次状態更新とバックエンド補正の仕組みをナビゲーションに直接組み込み、将来の視覚状態予測とカメラ運動・密な幾何推定を統合した世界モデルを提案。
- 表現世界モデル：表現空間における状態・遷移・実行可能計画の学習モデルベース強化学習2026/9/24
潜在表現空間内で直接的に状態・遷移・計画を学習し、再帰的ロールアウトや行動空間探索なしに計画を実行する手法を提案。連続制御とロボットマニピュレーションで有効性を示す。
- 足音のこだま：ゲート付き記憶を用いた知覚型ヒューマノイドパルクール歩行2026/9/24
オンボード深度のみを使い、ゲート付き記憶と顕著性誘導の時間知覚で足場の少ない不連続地形を安定して走破するヒューマノイドパルクール手法を提案。
- TactileStep: 足裏触覚学習によるヒューマノイド歩行の接地制御歩行2026/9/24
足裏の圧力センサを歩行制御に統合し、接地フェーズに応じた報酬で着地衝撃と騒音を抑えつつ支持安定性を高める学習フレームワークを提案。
- MSK-Bench：全身筋骨格運動制御のタスク・制御パラダイム・生理指標を横断するベンチマーク筋骨格制御2026/9/22
筋骨格ヒューマノイドの全身運動制御を22タスクで評価するベンチマークを提案し、5つの制御手法を統一プロトコルで比較した。
- ロボット応用のためのタスク指向型ギヤ付きアクチュエータの協調設計と最適化アクチュエータ設計2026/9/19
脚ロボットのタスクに合わせて、モータ・ギヤ・センサを含むアクチュエータのハードウェアと制御を同時最適化する枠組みを提案し、2自由度跳躍脚で有効性を実証した。
- SkelWAM: 骨格ガイド型ワールドアクションモデルによるゼロショット異形態間マニピュレーション異形態間転移2026/9/18
腕中心線・TCP姿勢・把持コマンドを共有25次元状態として用い、映像と行動のTransformerで骨格行動を予測し、形態別デコーダで異なるロボットの制御に変換するゼロショット転移手法を提案。
- OpenWAM: 体系的な世界行動モデル事前学習に向けたオープンでモジュール型の探求VLA2026/9/7
世界行動モデルの設計空間をモジュール化し、制御実験を通じて設計原則を抽出・検証するオープンな研究基盤を構築した。
- 無限SLAMトランスフォーマー：無制限のフロントエンド・バックエンド処理のためのSLAMFormer-∞SLAM2026/8/1
距離制限なしで長距離のフロントエンドとバックエンド処理をサポートする初の幾何学トランスフォーマーを提案し、17kmを超える軌跡でも動作可能なことを示した。
- G0.5: ロボットの推論と行動のための単一自己回帰ストリームVLA2026/8/1
単一のトランスフォーマーデコーダが推論トークンと行動トークンを同一の目的で生成する、事前学習済み自己回帰VLAモデルG0.5を提案。異なるロボットの行動を共有語彙に変換するトークナイザーや、チェーン・オブ・ソート、視覚メモリを導入し、複数のベンチマークでSOTAを達成。
- 対話型アニマトロニクスロボットの顔機構の自動合成アニマトロニクス/顔機構設計2026/7/1
2Dポートレートから3D顔を再構築し、衝突のない製造可能な内部機構を自動設計するアルゴリズムを提案。さらに、会話中の発話・傾聴行動を統合する双方向対話型顔運動合成フレームワークも開発した。
- エージェント駆動による自動運転のロングテールシミュレーション自動運転/シミュレーション2026/7/1
自動運転の閉ループ評価のため、大規模言語モデルで制御される周辺エージェントを導入し、多様な指示に従うインタラクティブなロングテールシナリオを生成するフレームワークを提案した。
- Orca：世界は心の中にある世界モデル2026/6/29
Orcaは、マルチモーダルな世界信号から統一された世界潜在空間を学習し、テキスト生成・画像予測・身体動作生成などの下流タスクを軽量デコーダで実現する世界基盤モデルである。
- 粗から精密へ：視覚言語行動モデルのためのアクショントークン計画VLA2026/6/1
VLAモデルに、将来の軌道を要約する粗いアクショントークンの計画を導入し、その計画に基づいて実行用のアクショントークンを生成する方式を提案。長期的なタスクでの性能が向上した。
- PAIWorld: ロボット操作のための3D整合性を持つ世界基盤モデル世界モデル2026/6/1
複数視点の3D整合性を保つ世界基盤モデルを提案し、ロボット操作のための予測と計画を改善した。
- OMG: 汎用人型ロボット制御のための全モーダル動作生成全身制御/動作生成2026/6/1
多様な入力モダリティ（言語、音声、人間の参照動作）に基づいて全身動作を生成する拡散モデルを提案し、データキュレーションと階層的制御構造により汎用的な人型ロボット制御を実現した。
- TopoRetarget: 巧みな操作のための相互作用を保持するリターゲティングマニピュレーション2026/6/1
人間の手と物体のデモンストレーションをロボットハンドに適応させる際、接触構造を保つリターゲティング手法を提案。接触精度とポリシー学習成功率を向上させ、実機へのゼロショット転送も実現。
- ロングテール状況での軌道変位は安全か？自動運転評価2026/6/1
自動運転のプランナー評価を、専門家軌道と比較した際の追加脅威検出として定式化し、人間のアノテーションと検証システムを組み合わせたFluidTestパイプラインを提案した。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- 最適化としての生成的制御：適応的で堅牢なロボット制御のための時間無条件フローマッチングVLA2026/3/1
行動生成を軌道積分ではなく反復最適化として扱う時間無条件フレームワークGeCOを提案し、状態の難易度に応じて計算量を適応させ、OOD検出も可能にした。
- UniDex: 人間の一人称視点ビデオからの汎用器用ハンド制御のためのロボット基盤スイート器用操作2026/3/1
人間の一人称視点ビデオからロボット実行可能な軌道を生成し、統一された行動空間と3D VLAポリシーを用いて、複数の器用ハンドへの汎用制御を実現する基盤スイートを提案した。
- VolumeDP: 操作ポリシー学習のためのボリューム表現モデリング模倣学習/操作2026/3/1
2D画像から直接3D動作を予測する既存手法の2D-3Dミスマッチを解消するため、画像特徴を3Dボリューム表現に変換し、タスク関連ボクセルを選択して動作予測を行う新しいポリシーアーキテクチャを提案した。
- TTT-Parkour: 知覚型ロボットパルクールのための高速テスト時訓練歩行2026/2/1
RGB-Dで実地形を高精度に再構成し、その上で方策を高速微調整するreal-to-sim-to-real手法により、人型ロボットが未知の複雑地形を10分以内で走破できるようにした。
- フレキシブル製造のための身体性知能：サーベイ身体性知能/製造2026/2/1
フレキシブル製造における身体性知能の研究を、知覚（Industrial Eye）、制御（Industrial Hand）、意思決定（Industrial Brain）の3視点から整理し、認知強化・技能移行・システム進化からなる3段階の発展モデルを提案したサーベイ。
- ActionCodec：優れたアクショントークナイザの設計原則VLA2026/2/1
VLA最適化の観点から情報理論に基づく設計原則を導き、それに従う高性能アクショントークナイザActionCodecを提案。LIBEROでロボティクス事前学習なしにSOTAを達成。
- 知覚を統合した全身パルクール制御全身制御2026/1/1
外界センシングを全身運動追跡に統合し、不整地でも跳び越えやダイブロールなどの動的な多接触動作を人型ロボットで実現する枠組みを提案した。
- 荒野をハイキング：ヒューマノイドのためのスケーラブルな知覚型パルクールフレームワーク歩行2026/1/1
生の深度画像と固有感覚から直接関節動作を生成する単段階強化学習により、ヒューマノイドが複雑な地形を最大2.5m/sで走破できる知覚型パルクールフレームワークを提案。
- RoboBPP: 物理シミュレーションによるロボットオンライン箱詰めのベンチマークマニピュレーション2025/12/1
物理シミュレータ上で実スケールのロボットアームと箱を扱うオンライン箱詰めベンチマークを構築し、実産業データセットと安定性・安全性の新指標を導入した。
- FASTer: ニューラル行動トークン化による効率的な自己回帰型視覚言語行動モデリングVLA2025/12/1
行動チャンクを単一チャネル画像として符号化する学習可能なトークナイザと、ブロック単位の自己回帰復号化を組み合わせ、推論速度とタスク性能を両立させたVLAフレームワークを提案。
- RoboCOIN: 統合マニピュレーションのためのオープンソース両腕ロボットデータ収集マニピュレーション2025/11/1
15種類のロボットプラットフォームから18万件以上の両腕操作デモを集めた大規模データセットを構築し、階層的な注釈とデータ処理パイプラインを提供した。
- SLAM-Former：SLAMを単一のTransformerに統合SLAM2025/9/1
単眼画像からのSLAMを単一のTransformerで実現し、フロントエンドとバックエンドを交互に動かして高精度な密なSLAMを達成した研究。
- OccVLA: 暗黙的3D占有監督を備えた視覚-言語-行動モデルVLA2025/9/1
2D画像から3D占有を予測・監督信号として学習し、推論時には計算負荷を増やさずに自動運転の軌道計画と3D視覚質問応答で最高性能を達成したVLAモデル。
- GalaxeaオープンワールドデータセットとG0デュアルシステムVLAモデルVLA2025/9/1
実環境で収集した大規模ロボット行動データセットを構築し、VLMによる計画とVLAによる実行を組み合わせた二重システムモデルG0を3段階学習で訓練した。
- 自律走行のための離散拡散による反射型視覚言語行動モデルVLA2025/9/1
離散拡散と言語モデルを活用し、安全な軌道生成のための反射機構を備えた自律走行向けVLAフレームワークを提案。
- SAMP: 空間アンカーに基づく衝突を考慮したロボットマニピュレータの動作方策マニピュレーション2025/9/1
ロボットと環境の形状を共有空間グリッド上の符号付き距離場で同時に表現し、衝突を考慮した滑らかな軌道を生成するニューラル動作方策を提案した。
- Morpheus: ハイブリッド駆動と多様な感情制御を実現するニューラル駆動型アニマトロニクス顔アニマトロニクス/感情表現2025/7/1
剛体駆動と腱駆動を組み合わせたハイブリッド機構と、自己モデリングネットワークにより、音声から多様な感情表現を生成できるアニマトロニクス顔を開発した。
- ピンプレッショングリッパの設計とオンライン把持調整を伴う巧みな把持の学習マニピュレーション2025/5/1
ピンプレッション玩具に着想を得た、各指に独立伸縮可能なピンアレイを持つ平行グリッパを開発し、強化学習とカリキュラム学習で把持中の再配向を含む巧みな把持スキルを学習させ、実機転移も実証した。
- 条件付けが鍵：拡散ポリシーの学習は思ったより速いVLA2025/5/1
条件拡散ポリシー学習で生じる「損失崩壊」を特定し、条件に依存したソース分布を用いるCocosを提案。少ない学習ステップとパラメータで大規模事前学習VLAに匹敵する性能を実現した。
- PIN-WM: 非把持マニピュレーションのための物理情報に基づく世界モデル学習sim2real2025/4/1
微分可能物理シミュレーションとGaussian Splattingを組み合わせ、視覚観測から3D剛体ダイナミクスの世界モデルを少数の軌道で学習し、物理を考慮したランダム化でSim2Real転移を実現した。
- 梱包構成木に基づく3Dビンパッキングの計画手法マニピュレーション2025/4/1
オンライン3Dビンパッキング問題に対し、梱包構成木(PCT)という階層表現を導入し、深層強化学習と木探索を組み合わせて大規模・多様な制約下での計画を可能にした。
- 人間のフィードバック強化学習によるパーソナライズ運転スタイルの学習自動運転2025/3/1
生成的な軌道モデルを人間のフィードバックで微調整し、多様な運転スタイルに合わせた軌道生成を可能にするTrajHFを提案。
- MoE-Loco：複数タスク歩行のための専門家混合歩行2025/3/1
脚型ロボットの多様な地形・歩容に対応する単一ポリシーを、専門家混合（MoE）で勾配衝突を抑えつつ学習させる手法を提案し、実機でも検証した。
- 未知のペイロードに適応する四足歩行の物理情報ニューラルネットワーク予測制御歩行2025/3/1
オンラインでペイロードを同定し、その質量パラメータを物理情報ニューラルネットワークの損失に組み込むことで、未知の積載物があっても四足歩行の追従精度を35%向上させる制御フレームワークを提案した。
- RoboEngine: セマンティックロボットセグメンテーションと背景生成によるプラグアンドプレイなロボットデータ拡張データ拡張2025/3/1
ロボットのセグメンテーションと背景生成を組み合わせ、数行のコードで物理・タスクを考慮した視覚データ拡張を可能にするツールキットを提案。単一シーンのデモから6つの新規シーンへの汎化を実現し、性能を200%以上向上させた。
- VR-Robo：実環境からシミュレーションを経て実環境へ戻す、視覚的ロボットナビゲーションと歩行のためのフレームワークsim2real2025/2/1
多視点画像から3Dガウススプラッティングでフォトリアルなデジタルツイン環境を構築し、強化学習で視覚的目標追跡を学習させることで、RGBのみのsim-to-real転移を実現した。
- 衝突を活かす：接触を問わない動作を実現するヒューマノイドの影従制御ヒューマノイド全身制御2025/2/1
全身の接触を許容するヒューマノイド動作フレームワークを提案し、GPU加速シミュレータでの強化学習により、離散的な動作コマンドに従って実世界でリアルタイムに全身制御を実現した。
- Mixture of Expertsによる自動運転モーションプランナーの汎化自動運転/プランニング2024/10/1
ViTエンコーダとMixture-of-Experts因果Transformerを組み合わせたスケーラブルなモーションプランナーSTR2を提案し、NuPlanデータセットで従来手法より高い汎化性能とスケーラビリティを示した。
- 堅牢なロボット歩行: 小さな罠を越える俊敏な移動の学習歩行2024/9/1
固有感覚入力のみを用いた二段階学習フレームワークにより、四足ロボットが小さな障害物を安定して通過できるようにした研究。
- 遊び好きな犬型ロボット：俊敏かつ精密な四足歩行の学習歩行2024/9/1
強化学習で知覚と制御を分離したシステムを構築し、四足ロボットが最大3m/sの飛来するボールを追跡したり、跳躍して空中の小さな物体を捕まえるなど、犬のような俊敏で精密な動作を実現した。
- SARO: 視覚言語モデルによる3D地形を横断する空間認識ロボットシステム歩行2024/7/1
視覚言語モデルを高レベル推論に用い、タスク分解と閉ループ実行、強化学習による低レベル制御を組み合わせて、四足ロボットが3D地形を横断して目標地点に到達できるシステムを構築した。
- ヒューマノイドのパルクール学習歩行2024/6/1
運動の事前知識なしに、視覚に基づく全身制御でヒューマノイドがパルクール動作を学習するフレームワークを提案。
- LiDARを用いた4D占有補完と予測4D知覚2023/10/1
自動運転向けに、LiDARの占有情報を補完し将来予測する新タスクOCFを提案し、大規模データセットOCFBenchとベースラインを構築した論文。
- 大規模軌道モデル：スケーラブルな運動予測と計画自動運転2023/10/1
観測・状態・行動を統一的な系列モデリングとして扱うState Transformerを提案し、スケーリング則に従って運動予測と計画の性能が向上することを示した。
- GPT-Driver: GPTで運転を学習する自動運転2023/10/1
大規模言語モデルGPT-3.5を自動運転の動作計画に活用し、軌道計画を言語モデリング問題として再定式化する手法を提案。nuScenesデータセットで有効性と汎化性能、解釈性を示した。
- ロボットのパルクール学習歩行2023/9/1
視覚情報のみを用いた単一の強化学習方策で、四足ロボットが障害物を乗り越えたり隙間をくぐったりする多様なパルクール動作を実世界で自律的に行えるようにした研究。
- 階層的潜在スキルによる自動運転のためのオフライン強化学習の強化自動運転2023/9/1
VAEで運転スキルを抽出し、それを行動として扱うことで長期的な車両計画を可能にするオフライン強化学習フレームワークを提案。
- ロボットマニピュレーションのための普遍的意味幾何表現マニピュレーション2023/6/1
大規模事前学習済み2Dモデルの意味情報と3D空間推論の幾何情報を統合した知覚モジュールSGRを提案し、多様なロボット操作タスクで高い性能と新規意味属性への汎化を実現した。
- プログラム構造を活用した構成的汎化が可能なロボットマニピュレーションマニピュレーション2023/4/1
言語指示を実行可能なプログラムに解析し、視覚・行動モジュールを組み合わせることで、未見の物体やタスクへの汎化性能を高めたマニピュレーション手法を提案。
- 一般3D形状のオンラインパッキングのための物理的に実現可能なスキル学習マニピュレーション2022/12/1
強化学習を用いて、不規則な3D形状を物理的に実現可能な形で連続的に箱詰めするオンラインパッキング方策を学習する手法を提案。候補行動生成で行動空間を削減し、48時間以内に訓練を可能にした。
- P4P: 自動運転の計画のための衝突考慮型運動予測運動予測2022/11/1
既存の運動予測器が衝突検出に苦戦することを示し、物理ベースの軌道生成と学習ベースの関係予測を組み合わせて衝突を特定するP4Pを提案した。
- InterSim: 明示的な関係モデリングによるインタラクティブ交通シミュレーション交通シミュレーション2022/10/1
自車の計画軌跡に応じて周囲エージェント間の関係を明示的にモデル化し、整合性のある多エージェントのインタラクティブな交通シミュレーションを実現した研究。
- VectorFlow: 画像とベクトルを組み合わせた交通占有・流れ予測予測2022/8/1
ラスタ化画像とベクトル軌跡の両方をエンコードして融合し、道路エージェントの占有グリッドと流れを高精度に予測するモデルを提案。Waymoコンペで3位、遮蔽領域で最高性能。
- ViP3D: 3Dエージェントクエリによるエンドツーエンド視覚軌道予測軌道予測2022/8/1
生の動画から直接エージェントの将来軌道を予測する、クエリベースの完全微分可能な視覚軌道予測パイプラインを提案。
- VectorMapNet: エンドツーエンドのベクトル化高精度地図学習自動運転/地図生成2022/6/1
車載センサーから直接ベクトル化された高精度地図を生成するエンドツーエンドのパイプラインを提案し、従来手法を大幅に上回る精度を達成した。
- M2I: 周辺軌道予測からインタラクティブ予測へ軌道予測2022/2/1
相互作用するエージェントを影響側と反応側のペアに分け、周辺予測と条件付き予測を組み合わせてマルチエージェントの軌道を統合的に予測する手法を提案した。
- IFR-Explore: 3D屋内シーンにおける物体間機能関係の学習物体間関係学習2021/12/1
3D屋内環境でスイッチと照明のような物体間の機能関係を、大規模シーンでの事前学習と対話的探索方策により学習・適応するAIシステムを提案し、AI2ThorとPartNetに基づく新ベンチマークで有効性を示した。
- DETR3D: 3D-to-2Dクエリによるマルチビュー画像からの3D物体検出3D物体検出2021/10/1
複数カメラ画像から2D特徴を抽出し、3D物体クエリで2D特徴を参照して直接3D空間でバウンディングボックスを予測するマルチカメラ3D物体検出手法を提案。nuScenesで最先端性能を達成。
- DenseTNT：密なゴール集合からのエンドツーエンド軌道予測軌道予測2021/8/1
密なゴール候補から直接複数の未来軌道を出力するアンカーフリーでエンドツーエンドの軌道予測モデルを提案し、ArgoverseとWaymoのベンチマークで最高性能を達成した。
- 実用的に実行可能なオンライン3Dビンパッキング方策の学習マニピュレーション2021/8/1
オンライン3Dビンパッキングを強化学習で解き、積み上げ安定性の高速解析や次元ごとの分離方策、ロボットアームの衝突回避を容易にする報酬設計により実用的なパッキング方策を実現した。
- DenseTNT：Waymoオープンデータセット運動予測チャレンジ優勝解法軌道予測2021/6/1
自動運転の軌道予測において、疎な事前定義アンカーに依存せず密なゴール確率推定を行うアンカーフリー手法DenseTNTを提案し、Waymoチャレンジで1位を獲得した。
- Waymo大規模インタラクティブ運動予測データセット運動予測2021/4/1
自動運転向けに、車両・歩行者・自転車の相互作用を含む10万シーン超・570時間の大規模運動予測データセットを構築し、単体・共同予測の評価指標とベースラインモデルを提供した論文。
- 遅延を考慮した予測型ビジュアルトラッキングの新ベンチマークと基線手法ビジュアルトラッキング2021/3/1
実環境での処理遅延を考慮したビジュアルトラッキング評価ベンチマークを構築し、遅延を補償する予測型トラッキング基線手法を提案した論文。
- CLOUD: 教師なしダイナミクスの対照学習教師なし学習2020/10/1
ランダム探索データから、対照推定を用いて順・逆ダイナミクスを完全教師なしで学習する手法を提案し、目標指向計画や観察からの模倣で有効性を示した。
- 動的シーンにおける教師なし単眼深度学習深度推定2020/10/1
単眼の光度整合性のみを教師信号として、深度・自己運動・物体の3D並進場を同時に学習する手法を提案。3D並進場の疎性と剛体物体での一定性という事前知識で正則化することで、動的シーンでも高精度な深度推定を実現した。
- マルチセンサ不整合による自己教師あり探索強化学習探索2020/9/1
複数センサ入力の不整合（知覚・行動）を新規性信号として内的報酬に用い、外部報酬なしで自己教師あり探索を実現する手法SEMIを提案した論文。
- TNT: 目標駆動型軌道予測軌道予測2020/8/1
将来の目標状態を予測し、それを条件に軌道を生成・選択する3段階の軌道予測フレームワークを提案し、車両・歩行者の予測で最先端性能を達成した。
