Zeyu Zhang
DAMO Academy, Alibaba Group
収録論文 50本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 物体再配置のための文脈的動作制約の学習マニピュレーション2026/11/9
部分視点の点群から関節物体の可動範囲と障害物ヒートマップを同時予測する二流ネットワークMoCo-Netを提案し、再配置計画の効率を向上させた。
- 推論時に行動表現を誘導するSTARVLA2026/10/29
学習不要の推論手法STARを提案し、VLAモデルの後層の行動表現に物体認識的な更新方向を引き継がせて操作タスクの成功率を平均4.0ポイント向上させた。
- 脚式ロボットの全身マルチIMU向けキネマティクス駆動型耐ノイズ能動キャリブレーションキャリブレーション2026/10/21
脚式ロボットに搭載した複数IMUの時間・空間・バイアスを、脚の運動学的モデルと能動的な励振動作を用いてノイズに強く自動キャリブレーションするフレームワークを提案。
- 記憶拡張リフレクションによるエージェント型人間動作インタラクション動作生成2026/10/19
MLLMをプランナ兼評価者、凍結MotionLLMを実行者として、計画・実行・観察・反省を閉ループで回し、長期的な人間-シーンインタラクションを実現するエージェントシステム。
- Code2Worlds-2: 物理的に妥当な身体性世界シミュレーションのためのエージェントハーネスsim2real2026/10/13
生成された4D視覚世界に衝突形状・質量・摩擦などの物理属性を与え、MuJoCoで実行可能なシミュレーションシーンへ変換するフレームワークを提案。
- RFPO: 身体性制御のための整流フローポリシー最適化歩行2026/10/7
フローポリシーの少ステップ推論時の性能劣化を解消するため、オンラインリフローとPPO監督を組み合わせたRFPOを提案し、1ステップ実行で64ステップと同等の制御性能を維持しつつ推論を54.9倍高速化した。
- PhysEvo: 凍結モデルの物理的自己改善フレームワークマニピュレーション2026/10/6
単一の凍結モデルを中心に、タスク実行とメタエージェントによる失敗診断・ツール改善を繰り返す物理的再帰的自己改善フレームワークを提案し、シミュレーションと実機で高い成功率を達成した。
- DexPolicy: 軌道誘導型巧みな操作のためのスケジュール探索マニピュレーション2026/9/30
強化学習による巧みな操作において、探索ノイズを訓練ステップに応じて徐々に減衰させるスケジュールを導入し、PPO・GRPO・FPOの3手法で成功率を大幅に向上させた。
- WorldAttention:対話型動画ワールドモデル向けの効率的注意機構動画生成/効率化2026/9/28
対話型動画生成モデルで長期的な文脈を保ちつつ計算・メモリ効率を高めるため、ハイブリッド疎注意と階層的KVキャッシュを組み合わせた注意アーキテクチャを提案。
- DeltaWAM: 双腕マニピュレーションのためのデルタ世界行動モデルマニピュレーション2026/9/23
映像の変化分(デルタ)と行動を同時に予測する世界行動モデルを提案し、双腕ロボット操作の成功率と推論速度を向上させた。
- ME-Brain-1.0:記憶・認知・行動による自己進化型身体知能VLA2026/9/21
行動実行から経験獲得・進化を経て実行改善へと至る閉ループで自己進化する身体知能システムを提案し、再学習なしにベンチマークで大幅な性能向上を達成した。
- UniMo: 人間と動物のモーション生成を統合するフレームワークモーション生成2026/9/11
骨格の違いを点群表現に変換することで種を問わず統一的に扱えるモーション生成手法を提案し、人間と動物を合わせた大規模データセットUniML3Dも構築した。
- ReMoMask-2: 潜在検索拡張マスク動作生成動作生成2026/9/8
テキストから人間の動作を生成するタスクにおいて、検索拡張と階層的空間時間トポロジーを考慮した新しいフレームワークを提案し、生成品質と速度を向上させた。
- MobileVLA-R1 2.0: モバイルロボット制御のための強化学習強化推論VLA2026/9/5
モバイルロボットのVLAシステムにおいて、言語指示を実行可能な行動に変換する課題に対し、構造化された推論と強化学習を組み合わせたフレームワークを提案し、ナビゲーションや操作タスクで評価した。
- 適応的視覚言語把持:構成可能な基盤事前知識と汎化可能な把持合成による実現マニピュレーション2026/9/3
本論文は、ロボットハンドの種類に依存せず汎用的に把持を合成できるAdaRoboVLGフレームワークを提案し、物理的把持合成とタスク依存の理解を分離することで、基盤モデルの進歩を直接把持能力の向上に結び付ける手法を示した。
- H2R-Bench: ワールドモデルにおける人間からロボットへの操作ビデオ生成のベンチマークビデオ生成/ベンチマーク2026/8/1
人間の操作ビデオをロボットの操作ビデオに変換するクロスエンボディメント生成の性能を評価するベンチマークを提案し、既存モデルの限界を明らかにした。
- ゴールドポイントスナイパー:微細な行動理解のためのVLMにおける自己誘導型視覚推論VLA/行動理解2026/6/21
ロボットが広視野画像中の小さな人物の微細な行動を理解するため、軽量VLMに自己誘導型のマルチモーダル推論を組み込むフレームワークGPSを提案し、行動関連の重要点抽出、自己質問による検証、意味的含意評価で精度と事実整合性を向上させた。
- GeneralVLA-2: 幾何認識再構成と管理されたメモリによるロボット計画VLA2026/6/16
ロボットの軌道計画のための視覚言語行動モデルを改善し、3D再構成の精度向上と長期メモリの品質管理を実現した。
- DragMesh-2: 関節物体との物理的に妥当な器用な手と物体のインタラクションマニピュレーション2026/6/13
関節物体を器用な手で操作するための接触駆動フレームワークを提案し、物理信号を注入する学習機構により接触負荷の変化に対するロバスト性を向上させた。
- WorldOlympiad:あなたの世界モデルはトライアスロンを生き残れるか?世界モデル評価2026/6/9
ビデオベースの世界モデルを物理的忠実性、幾何学的整合性、相互作用の忠実性の3つの観点から評価するベンチマークWorldOlympiadを提案する。
- PlatonicNav: プラトニック位相マップによるナビゲーションの意味的対応の解明ナビゲーション2026/6/1
視覚のみで構築した位相マップを用いて、言語目標をペアデータなしで接地する訓練不要のナビゲーションフレームワークを提案し、シミュレーションと実機で有効性を示した。
- MotionVLA: ヒューマノイド動作のための視覚・言語・行動モデル動作生成2026/6/1
シーン画像とテキストから現実的なヒューマノイド動作を生成するため、動作を基本ストリームと物理ストリームに分離し、DCTとBPEで独立に圧縮する二重ストリーム周波数トークナイザを提案し、軽量な2Bバックボーンで多様性と一貫性を向上させた。
- TriSplat: シミュレーション対応のフィードフォワード3Dシーン再構築3D再構築2026/5/25
スパース視点からの3D再構築を、三角形プリミティブを用いてフィードフォワードで行い、シミュレーションに使えるメッシュを直接出力する手法を提案した。
- MWM: 行動条件付き一貫予測のためのモバイルワールドモデルナビゲーション2026/3/1
ナビゲーションのためのワールドモデルにおいて、行動条件付きの一貫性を向上させる2段階学習と蒸留手法を提案し、画像目標ナビゲーションの性能を改善した。
- GeoWorld: 幾何学的世界モデル世界モデル2026/2/1
潜在表現を双曲空間に写像するHyperbolic JEPAと幾何学的強化学習を導入し、長期的な視覚計画の精度を向上させた世界モデル。
- GeneralVLA:知識誘導型軌道計画による汎化可能な視覚-言語-行動モデルVLA2026/2/1
基盤モデルの汎化能力を活かし、アフォーダンス認識・3D軌道計画・制御を階層化したVLAモデルを提案。実機データや人間の実演なしでゼロショットのマニピュレーションを実現する。
- MobileVLA-R1: 四足歩行ロボットのための視覚-言語-行動モデルを強化学習で強化VLA2025/11/1
自然言語指示を四足歩行ロボットの連続制御に接地させるため、多粒度Chain-of-Thoughtデータセットと教師あり学習+GRPO強化学習の二段階学習を組み合わせた統合VLAフレームワークを提案し、実機で有効性を示した。
- VLA-R1:視覚-言語-行動モデルにおける推論能力の強化VLA2025/10/1
検証可能な報酬による強化学習とGRPOを組み合わせ、アフォーダンスや軌道に沿った思考連鎖を学習させることで、VLAモデルの推論と実行精度を高めた研究。
- Nav-R1: 具現化シーンにおける推論とナビゲーションナビゲーション2025/9/1
段階的CoTデータセットと強化学習、Fast-in-Slow推論で、複雑な3D環境でのロバストな具現化ナビゲーションを実現した基盤モデル。
- StereoAdapter: ステレオ深度推定の水中シーンへの適応ステレオ深度推定/水中ロボティクス2025/9/1
LoRAで適応した単眼基盤エンコーダと再帰的ステレオ精緻化を組み合わせ、水中でも高精度なステレオ深度推定を自己教師ありで実現した。
- ロボットとシーンの運動学を統合した逐次移動マニピュレーション計画移動マニピュレーション2025/8/1
環境構造を運動学モデルとして取り込み、ロボットとシーンの統合配置空間で計画することで、関節物体を含む長期的な移動マニピュレーションを実現する枠組みを提案した。
- SuperMag: 視覚ベース触覚データを用いた磁気触覚センサの高解像度形状再構成触覚2025/7/1
磁気触覚センサの低解像度問題を、視覚ベース触覚センサの高解像度データで教師あり学習し、条件付きVAEで高解像度形状を推定する手法を提案。
- IKDiffuser: 運動学的木構造のための拡散生成モデルによる逆運動学ソルバ逆運動学2025/6/1
エンドエフェクタ姿勢をトークン列として扱う条件付き拡散モデルにより、任意の運動学的木構造に対する逆運動学を学習・推論する汎用ソルバを提案した。
- ManipLVM-R1: 大規模視覚言語モデルによる具現化マニピュレーションの推論のための強化学習マニピュレーション2025/5/1
高価な人手アノテーションに頼らず、検証可能な報酬を用いた強化学習で大規模視覚言語モデルを訓練し、ロボットマニピュレーションの汎化と物理的推論を向上させるフレームワークを提案。
- A2I-Calib: 脚式ロボットのための耐ノイズ能動型マルチIMU時空間キャリブレーションキャリブレーション2025/3/1
脚式ロボットの足先IMU間の時空間ずれを、耐ノイズ軌道生成と強化学習制御で自律的に校正するフレームワークを提案し、シミュレーションと実機で精度向上を実証した。
- 家庭内の危険を先回りして検知・対処するロボット家庭内ロボット2024/11/1
基盤モデルとマルチエージェント議論で家庭内の危険シナリオを自動生成し、ロボットが異常を能動的に発見・対処するスキルを学習する手法を提案した。
- M3Bench:3Dシーンにおけるモバイルマニピュレーションの全身動作生成ベンチマークモバイルマニピュレーション2024/10/1
3Dシーンで物体を並べ替える全身動作軌道を生成するモバイルマニピュレーションの新ベンチマークM3Benchを提案し、自動データ生成ツールと物理シミュレーション評価を提供する。
- M2Diffuser: 3Dシーンにおけるモバイルマニピュレーションのための拡散ベース軌道最適化モバイルマニピュレーション2024/10/1
ロボット中心の3Dスキャンから移動と操作を統合した全身軌道を拡散モデルで生成し、推論時に物理制約とタスク目的を最適化する手法を提案。20以上のシーンで既存手法を上回り、実機転移も成功。
- PR2: 物理・フォトリアルなヒューマノイドテストベッドと競技会でのパイロット研究sim2real2024/9/1
物理シミュレーションとフォトリアルな描画を両立したヒューマノイドロボットのテストベッドPR2を開発し、全国規模の大学ロボット競技会で実証した。
- モジュール型再構成可能UAVの飛行構造最適化群制御2024/7/1
重さや慣性が異なるモジュール型ドローンの群れを、遺伝的アルゴリズムで過駆動な飛行構造に再構成し、軌道追従精度を保ちつつ計算コストを削減した。
- GPT-4Vを用いた閉ループ型オープンボキャブラリ移動マニピュレーションVLA2024/4/1
GPT-4Vを活用し、未知環境での物体探索と操作を閉ループで行うロボットシステムを提案。実世界の8タスクで成功率を約35%向上させた。
- LLM³: 動作失敗の推論を組み込んだ大規模言語モデルベースのタスク・動作計画マニピュレーション2024/3/1
大規模言語モデルを使ってタスク計画と動作計画を橋渡しし、動作計画の失敗フィードバックをプロンプトで与えて提案を反復改善する、ドメイン非依存のTAMPフレームワークを提案した。
- パーツレベルシーン再構成によるロボットインタラクションの実現シーン再構成2023/7/1
物体をプリミティブ形状でパーツ単位に再構成し、関節関係を推定することで、ロボットが操作可能なインタラクティブシーンを高精度に再現する手法を提案した。
- 物理・仮想把持を再現する再構成可能データグローブ触覚2023/1/1
触覚センシング・VR・FEMシミュレーションの3モードで手指の把持動作をリアルタイムに再現する再構成可能なデータグローブを開発した。
- シーングラフ上の逐次マニピュレーション計画マニピュレーション2022/7/1
接触グラフ+という3Dシーングラフ表現を提案し、グラフ編集距離と遺伝的アルゴリズムを用いて複雑な物体再配置タスクの逐次計画を実現した。
- 物理効果の理解による効果的な道具使用マニピュレーション2022/6/1
FEMシミュレータと記号回帰を用いて道具使用の物理特性を抽出し、最適制御で効率的な動作計画を生成するフレームワークを提案。
- 移動マニピュレーションのための運動学モデル統合による協調動作生成移動マニピュレーション2021/8/1
移動台車・アーム・対象物体の運動学を仮想キネマティックチェーンとして統合し、軌道最適化で協調的な移動マニピュレーション計画を実現した研究。
- 移動マニピュレーションのための効率的タスク計画:仮想運動連鎖の視点タスク計画2021/8/1
移動ベース・アーム・対象物の運動学を仮想運動連鎖として統合し、抽象行動の定義と不要な述語の削減によりタスク計画の探索空間と分岐を大幅に縮小する手法を提案した。
- パノプティックマッピングとCADモデル整合によるインタラクティブ3Dシーン再構成3Dシーン再構成2021/3/1
RGB-Dデータから物体の意味・形状と物理的常識を統合し、パーツ単位の関節付きCADモデルで置き換えることで、ロボットが操作可能なインタラクティブ3Dシーンを自動構築する手法を提案した。
- 共有拡張現実ワークスペースにおける人間とロボットの双方向インタラクションHRI2020/7/1
人間とロボットが同じAR空間を共有し、ロボットが人間の視線や姿勢から意図を推測して仮想物体を能動的に操作できるHRIシステムを構築し、資源収集ゲームで有効性を評価した論文。
