Zhuo Xu
DeepMind
収録論文 26本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- TacClaw-Infinity: 巧みな操作のための大規模視覚・触覚・言語・行動データセット触覚2026/10/14
触覚対応のハンドヘルド型デバイスで世界中から収集した1万時間・100万エピソード超の視覚・触覚・言語・行動データセットを構築し、異なるロボット間での転移を実証した。
- RoboChrono:ストリーミングタスク理解のための実ロボットベンチマークベンチマーク2026/9/29
実ロボットと人手の記録からなる39シナリオ・34,713件のベンチマークを構築し、18の視覚言語モデルのゼロショット性能を評価して、視覚照合と時間順序理解の能力差を明らかにした。
- ガウススプラッティングによる軟体相互作用のReal-to-Simロボット方策評価sim2real2025/11/1
実世界の動画から軟体のデジタルツインを構築し、3Dガウススプラッティングでフォトリアルに描画するReal-to-Sim評価フレームワークを提案。ぬいぐるみ詰め込みやロープ通しなどの変形操作タスクで、シミュレーション結果が実機性能と強く相関することを示した。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- EDENet: 地中レーダーに基づく場所認識のためのエコー方向符号化ネットワーク地中レーダー位置認識2025/2/1
地中レーダーのエコー系列と地下構造の幾何関係を利用し、学習可能なガボールフィルタと方向注意機構で大規模地図での場所認識を高精度・軽量に実現した。
- PO-GVINS: 姿勢のみ表現によるGNSS・視覚・慣性の密結合統合VLA2025/1/1
視覚慣性システムに姿勢のみ表現を導入し、3D特徴点を状態から除外することで線形化誤差と次元爆発を回避し、GNSS生測定と整数アンビギュイティ解を統合したドリフトフリーな測位フレームワークを提案。
- 想像的ポテンシャルゲーム:対話的行動のシミュレーション・学習・評価のためのフレームワークソーシャルナビゲーション2024/11/1
各エージェントが他者との仮想的な協力ゲームを想像する分散ポテンシャルゲームで人間らしい相互作用をシミュレートし、対話型ナビゲーションの学習・評価環境を提供する。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- MATRIX: 多様なコンテキストを持つマルチエージェント軌道生成軌道生成2024/3/1
人間同士や人間-ロボットのインタラクション場面で、目的地や行動特性の多様性を考慮してリアルな軌道データを自動生成する学習ベースモデルMATRIXを提案し、模倣学習のデータ拡張にも有効性を示した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 大規模言語モデルを用いた表現豊かなロボット動作の生成VLA2024/1/1
大規模言語モデルを活用し、人間の言語指示からロボットの表現豊かな動作を生成する手法を提案。ユーザー研究とシミュレーションで有効性を示した。
- SpatialVLM:視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- マルチセンサ融合ナビゲーションにおける状態推定:最適化とフィルタリング状態推定2024/1/1
最適化ベースとフィルタリングベースの状態推定が理論的に等価であることを示し、実時間運用での戦略の違いによる乖離を調整することで厳密に一致することを実験的に検証した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- 想像上のポテンシャルゲームによる分散マルチエージェント相互作用生成群制御2023/10/1
各エージェントが他者の行動を推定しながら想像上の協力ゲームを解く分散型ポテンシャルゲームの枠組みを提案し、衝突回避と協調を両立する人間らしい相互作用を生成できることを示した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- オンライン学習による車輪移動ロボットのスリップ低減のための制御器適応移動ロボット制御2023/1/1
強化学習で横方向予測制御器と縦方向PID制御器のゲインをオンライン同時調整し、滑りやすい路面でも軌道追従性能を向上させる階層フレームワークを提案した。
- Grouptron: 群れを考慮した動的マルチスケールグラフ畳み込みネットワークによる密集群衆の軌道予測軌道予測2021/9/1
歩行者の群れを時空間クラスタリングで検出し、個人・群れ・シーン各レベルのグラフニューラルネットで動態を符号化して軌道を予測する手法を提案し、FDEを9.3%改善した。
- 接触を考慮したオンライン文脈推論による汎化可能な非平面押し操作マニピュレーション2020/11/1
接触リッチな相互作用から動特性の文脈埋め込みをオンラインで推定する深層強化学習手法COCOIを提案し、物体を直立させたまま目標位置へ押す非平面押しタスクでシミュレーションと実機転移の有効性を示した。
- RetinaGAN:物体認識を考慮したSim-to-Real転移手法sim2real2020/11/1
物体検出の一貫性を保ちながらシミュレーション画像を実画像へ変換するGANを提案し、把持・押し・ドア開けの実タスクでsim-to-real性能を向上させた。
- カスケード属性ネットワーク:階層型ニューラルネットによる強化学習制御方策の分解強化学習2020/5/1
制御タスクの要求制約(属性)ごとに方策を階層的に分解するカスケード属性ネットワークを提案し、複数属性のタスクでもモジュールを組み合わせるだけでゼロショットに制御方策を得られることをロボット制御2例で示した。
- ガイド付き方策探索による都市自動運転のモデルベース強化学習モデルベースRL/自動運転2020/5/1
Carla都市運転シミュレータにおいて、パラメータ化動的モデルを反復学習しその下で運転方策を最適化するモデルベース強化学習(GPS)を適用し、サンプル効率を約100倍改善した。
- ロバスト制御に基づく自動運転向けゼロショット深層強化学習方策転移sim2real2018/12/1
外乱オブザーバを用いたロバスト追従制御と階層型強化学習プランナを組み合わせ、学習環境から実環境へゼロショットで運転方策を転移できる手法を提案した。
