Jiayuan Gu
ShanghaiTech University
収録論文 22本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 生成・検証・修正によるエージェント型ロボット創造ロボット設計・行動生成2026/10/13
AIエージェントが高レベルなユーザ意図からロボットの身体と行動を生成し、実行フィードバックで修正する枠組みを提案。生成設計の機械的失敗を計算指標で評価し、実機ロボットで学習行動を展開した。
- CFG-Policy:Classifier-free Guidanceによる統合拡散ポリシー学習フレームワーク拡散ポリシー2026/10/10
拡散ポリシーの探索と活用を2つの生成ポリシーに分離し、classifier-free guidanceで統合するプラグアンドプレイ型RLフレームワークを提案。MuJoCoとRoboTwinで性能向上を実証。
- LIVIN: 実在の住まいのデジタルツインで空間・身体知能を評価するベンチマークsim2real2026/10/8
実際に人が暮らす30世帯の家をデジタルツイン化し、物体配置や家具配置を忠実に再現したベンチマークを構築。3D検出・再構成・ナビゲーション・移動操作の4タスクで現手法を評価した。
- FACT: 忠実度を考慮した関節物体ツインの構築sim2real2026/9/29
画像や受動応答動画から、エージェントが診断と修正を繰り返して関節物体のデジタルツインを構築し、形状・接触・動特性の忠実度を高めるフレームワーク。
- NavProbe: 能動的記憶検索による証拠に基づく推論を用いたゼロショットナビゲーションナビゲーション2026/9/23
訪問場所や遷移の要約をインデックス化し、必要時に視覚・幾何情報を能動的に検索してサブゴールを修正する階層型ゼロショットナビゲーション手法を提案し、R2R-CEやRxR-CEで高い性能を示した。
- PASSAGE: 雑然環境における知覚型ヒューマノイド移動のためのシーン整合運動学習のスケーリング歩行2026/9/16
VRと慣性モーションキャプチャで収集した1500の雑然シーンにおける100時間の人間動作データを用い、条件付きフローマッチングプランナと全身トラッカーを組み合わせて、未知の障害物環境でもヒューマノイドが知覚に基づき踏み越え・すり抜け・くぐり抜けを選択・実行できる枠組みを提案。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- 視覚的に現実的なシミュレーションを目指して:ロボット操作のシミュレーション評価のためのベンチマークシミュレーション評価2026/5/1
シミュレーションと実世界の視覚的ギャップを減らすため、照明とマテリアルが幾何学的推論と空間的接地に与える影響を分析し、高忠実度の3Dアセットと自動パイプラインを用いた視覚的に現実的なベンチマークVISERを提案した。
- R3D: 3Dポリシー学習の再考模倣学習/3Dポリシー2026/4/1
3Dポリシー学習の不安定性と過学習の原因を診断し、3Dデータ拡張の欠如とバッチ正規化の悪影響を特定。スケーラブルなトランスフォーマー型3Dエンコーダと拡散デコーダを組み合わせた新しいアーキテクチャを提案し、操作ベンチマークで最先端を達成した。
- 身体性を持つ思考の木:身体性世界モデルによる意図的なマニピュレーション計画マニピュレーション2025/12/1
物理ベースのデジタルツインを世界モデルとして用い、木探索とVLMによる失敗診断でロボットのマニピュレーション計画を立案するReal2Sim2Realフレームワークを提案。
- DreamPolicy:スケーラブルなヒューマノイド歩行のための統合ワールドモデルポリシー歩行2025/5/1
拡散ベースの地形認識ワールドモデルとオフラインデータを統合し、単一のポリシーで未知の複合地形へのゼロショット転移を実現したヒューマノイド歩行フレームワーク。
- ExFace: 拡散トランスフォーマーとブートストラップ学習によるヒューマノイドロボットの表情豊かな顔制御表情制御2025/4/1
拡散トランスフォーマーを用いて人間の顔のブレンドシェイプからバイオニックロボットのモーター制御へ高精度にマッピングし、ブートストラップ学習で表情生成の品質・精度・滑らかさを向上させた。
- SoFar: 言語に基づく物体の向きが空間推論と物体操作を橋渡しするVLA2025/2/1
自然言語で物体の向きを定義する「意味的向き」を導入し、大規模データセットとゼロショット予測モデルを構築して、6自由度の空間推論とロボット動作生成を可能にした。
- AffordDP: 転移可能なアフォーダンスによる汎化可能な拡散ポリシーマニピュレーション2024/12/1
物体の操作箇所と動作軌道を表すアフォーダンスを基礎モデルと点群位置合わせで未知物体に転移し、拡散サンプリング時の誘導に用いることで、未見カテゴリへの操作汎化を実現した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- RT-Sketch: 手描きスケッチによる目標条件付き模倣学習模倣学習2024/3/1
手描きスケッチを目標指定に用いる操作ポリシーを提案し、言語や画像条件よりも曖昧さや視覚的妨害に頑健であることを示した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- ManiSkill2: 汎化可能なマニピュレーションスキルのための統合ベンチマークマニピュレーション2023/2/1
多様な物体形状と完全動的シミュレーションを備えた20種の操作タスク群からなる次世代ベンチマークを構築し、RLやILなど多様なアルゴリズムを統一的に評価できるようにした。
- 物体再配置のためのマルチスキル移動マニピュレーションマニピュレーション2022/9/1
長期的な移動マニピュレーションタスクを、移動を伴う操作スキルと領域ゴールを持つナビゲーションスキルに分解して解く手法を提案し、ベンチマークで性能向上を示した。
- 物理ベースのアクティブステレオセンサシミュレーションで光学センシングのドメインギャップを埋めるsim2real2022/1/1
アクティブステレオ深度センサを物理法則に基づきシミュレーションし、実機に近い材質依存の誤差パターンを持つ深度画像をリアルタイム生成するパイプラインを構築した。シミュレーションで学習した認識アルゴリズムや強化学習方針が実世界へファインチューニングなしで転移することを示した。
- フィードバックによる逆問題の反復解法逆問題2021/1/1
順過程が返すフィードバック信号を入力に反復更新モデルを学習し、姿勢推定や照明推定などの逆問題を高速かつ高精度に解く手法を提案した。
