Peng Xu
Harbin Institute of Technology
収録論文 40本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- PredActor: 予測的行動拡散による操縦可能なオンボードヒューマノイド制御ヒューマノイド制御2026/9/21
固有感覚のみを用いて行動と将来状態軌道を同時生成し、テスト時にも目標へ操縦できるヒューマノイド制御ポリシーを提案。
- PanoFuse: パノラマ強化型視覚-言語-行動学習と分離型意味-幾何ルーティングVLA2026/9/21
全方向パノラマ知覚をVLAに統合し、意味情報と幾何情報を分離して経路選択するDSGRにより、遮蔽や未知環境下でのマニピュレーション成功率を向上させた。
- PSR: 接触の多いマニピュレーションのための予測的感覚運動表現学習マニピュレーション2026/9/18
マルチモーダルな感覚運動信号から将来の接触ダイナミクスを予測する表現を事前学習し、VLAモデルの行動生成に組み込むことで、力覚を要する接触の多い操作タスクの成功率を大幅に向上させた研究。
- AeroDPO: 高忠実度知覚と自動選好最適化による軽量UAVナビゲーションの実現ナビゲーション2026/8/1
UAVの視覚言語ナビゲーションにおいて、軽量な2Bモデルでも高品質な視覚入力があれば巨大な7Bモデルと同等の成功率を達成できることを示し、純粋な行動クローニングの衝突リスクを、物理シミュレーションの状態ロールバックを用いた自動選好最適化(AeroDPO)で克服する手法を提案した。
- CLIFT: 非侵襲的な閉ループ反復ファインチューニングによるGemini Roboticsオンデバイスの人型ロボット専門家化人型ロボット適応2026/7/1
クローズドウェイトのロボット基盤モデルを管理API経由で適応させる際、純粋な模倣学習に限定される問題を解決するため、非侵襲的な閉ループ反復ファインチューニング手法を提案し、実人型ロボットでの有効性を実証した。
- AerialVLA: 最小限のエンドツーエンド制御によるUAVナビゲーションのための視覚言語行動モデルVLA/UAVナビゲーション2026/3/1
UAVナビゲーションのための視覚言語行動モデルを提案し、生の視覚情報と言語指示を直接連続的な物理制御信号にマッピングする。オラクルガイダンスや外部物体検出器に依存せず、ファジーな方向指示と統合制御空間により、未見環境での汎化性能を大幅に向上させた。
- KCFRC: 脚式移動のための運動学的衝突を考慮した足場到達可能性基準歩行2026/2/1
脚式ロボットが足場を選ぶ際に、衝突しない脚の振り軌道が存在するかを高速に判定する手法KCFRCを提案し、900候補を平均2msで検証できることを示した。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- PegasusFlow:ロボット拡散プランナー向け並列ローリング・デノイジングスコアサンプリング拡散プランニング2025/9/1
専門家データを使わず環境との相互作用から軌道スコア勾配を並列サンプリングする階層的フレームワークを提案し、MPPIより高効率なWBFOアルゴリズムで複雑地形のナビゲーションを実現した。
- 階層最適化による脚式移動の全身制約学習歩行2025/6/1
強化学習にハード・ソフト制約を組み込んだ階層最適化ベースの全身追従制御を提案し、六脚ロボットの屋外環境での安全性と走破性を実証した。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- 人間レベルの競技卓球を実現するロボットエージェントsim2real2024/8/1
階層型ポリシーとsim-to-real技術により、アマチュア人間レベルの競技卓球を実現したロボットを開発し、人間との試合で45%の勝率を達成した。
- Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- RT-Sketch: 手描きスケッチによる目標条件付き模倣学習模倣学習2024/3/1
手描きスケッチを目標指定に用いる操作ポリシーを提案し、言語や画像条件よりも曖昧さや視覚的妨害に頑健であることを示した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- ロボット卓球:高速学習システムのケーススタディsim2real2023/9/1
人間と数百回のラリーができる卓球ロボットの学習システムを詳細に解説し、遅延対策や分布シフト、知覚の堅牢性、行動空間の選択などを実験的に検証した。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 助けを求めるロボット:大規模言語モデルプランナーの不確実性調整VLA2023/7/1
LLMベースのプランナーが不確実な状況を検知して人間に助けを求める枠組みKnowNoを提案し、複雑な多段階計画タスクで効率と自律性を向上させた。
- ソーシャルロボットナビゲーションアルゴリズム評価のための原則とガイドラインソーシャルナビゲーション2023/6/1
人混み環境でのロボットナビゲーションを公平に評価するための共通ベンチマーク基準を提案し、安全性や快適さなどの原則、メトリクスやシナリオ設計のガイドライン、評価フレームワークを示した。
- 言語から報酬へ:ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 支持平面上での把持替えを学習する外的手操作マニピュレーション2022/10/1
支持平面上で物体を置き直しながら目標姿勢へ運ぶ「外的手操作」のため、点群から多様で安定な置き方を予測する深層学習フレームワークを提案し、実機で有効性を示した。
- 強化学習と全身軌道最適化によるロボットのテーブル拭きマニピュレーション2022/10/1
視覚観測からこぼれやパンくずの不確かな動態を考慮しつつ、強化学習で拭き動作を計画し、全身軌道最適化で安全な動作を実現する枠組みを提案した。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- Performer-MPC: 実世界ナビゲーションのためのリアルタイム注意機構を用いたモデル予測制御器の学習ナビゲーション2022/9/1
低ランク注意機構Transformerで視覚文脈を埋め込み、学習したコスト関数とMPCを組み合わせて実世界の混雑環境や人混みでのナビゲーション性能を向上させた。
- 複雑な作業空間におけるロボットナビゲーションのための等角ナビゲーション変換ナビゲーション2022/8/1
任意形状の障害物がある作業空間で、等角ナビゲーション変換を用いて衝突のないロボットナビゲーションを実現する手法を提案し、フィードバック制御器を導出した。
- VG-Swarm: 視覚と遺伝子制御ネットワークによるUAV群の包囲行動創発群制御2022/6/1
遺伝子制御ネットワークと全方位視覚センサのみを用い、直接通信なしでUAV群が逃げる標的を包囲する分散制御手法を提案し、シミュレーションと実機実験で検証した。
- BiAIT*: 適応的ヒューリスティックを用いた対称双方向最適経路計画経路計画2022/5/1
AIT*を対称双方向探索に拡張し、初期解をより速く見つけつつ衝突時のヒューリスティック更新計算を削減した経路計画手法BiAIT*を提案した。
- 外部支持を活用した安定配置による物体の姿勢変更学習マニピュレーション2022/5/1
点群から物体の安定配置を予測し、マニピュレーショングラフを構築してロボットが支持を利用して物体の向きを変える手法を提案した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- 価値関数空間:スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 視覚移動ポリシーのゼロショット地形汎化歩行2020/11/1
3D LiDARの生入力を直接用いるマルチタスク強化学習で脚式ロボットの移動制御器を学習し、階段や不整地など13種類の未知環境でゼロショット汎化を実現した。
- モンテカルロ木探索を用いた六脚ロボットの耐故障性フリーゲイトと足場計画歩行計画2020/6/1
六脚ロボットの歩容と足場の計画を系列最適化問題として統合し、モンテカルロ木探索で最適化することで、足場が疎な環境での通過性を大幅に向上させた研究。
- 最小限の人的労力で実世界を歩くことを学ぶ歩行2020/2/1
実機ロボット上で深層強化学習により歩行方策を学習するシステムを開発し、自動データ収集と安全制約付きRLで3種類の地形での歩行獲得を実現した。
