Jianyu Chen
Tsinghua University
収録論文 50本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HITCH: 全身ハーネスでヒューマノイドを操作する視覚言語モデルの学習VLA2026/11/5
視覚言語モデルが画像内の点を3D位置として認識し、骨盤・胴体・手・歩行・視線のコマンドを全身動作に変換するハーネスを構築し、教師軌跡で微調整することで実機G1での箱運び歩行を実現した。
- 長期的タスク進展と局所ダイナミクスを分離する世界行動モデルマニピュレーション2026/11/3
ロボット操作のための世界行動モデルにおいて、長期的なタスクの進展と短期的な局所視覚ダイナミクスを二つのストリームに分離し、統合アーキテクチャで行動生成を改善した研究。
- RoboDuo: コードを介した試行・確認・原子的リカバリによるVLAの長期的タスク遂行VLA2026/10/25
コードをインターフェースにコーディングエージェントと2つのVLAを連携させ、全体タスクVLAの失敗を原子的スキルVLAで補完する閉ループ二重システムを提案。既存VLAの重みを更新せず長期的タスクの成功率を向上。
- EXE: 因子分解潜在行動による一人称視点の異形態間事前学習VLA2026/10/24
一人称視点の人間動画から共有操作スキルと身体固有の動きを分離した潜在行動表現を学習し、VLAモデルの事前学習に活用するフレームワーク。
- 動画予測ポリシー2:より良く予測し、より良く行動するVLA2026/10/7
操作動画で基盤動画モデルを追加事前学習し、単段階の視覚プランナに蒸留、MoTで行動モジュールを統合することで、オープンエンドな操作タスクにおけるゼロショット汎化性能を大幅に向上させた世界行動モデル。
- GALA: 幾何情報を考慮した潜在行動モデリングによるマルチ身体VLA事前学習VLA2026/9/18
エンドエフェクタの3D幾何運動を統合した潜在行動表現を提案し、多様な身体のデータから細粒度の動作を捉えるVLAモデル事前学習を実現した。
- HEFT: 特権的動作ガイダンスとウィンドウ型ペイロードカリキュラムによる重量物対応フルサイズ人型ロボットの遠隔操作遠隔操作/人型ロボット2026/7/1
重量物を持ったフルサイズ人型ロボットの遠隔操作を実現するフレームワークを提案。ノイズの多いVRトラッカー参照から物理的に妥当な動作を学習し、段階的に重量を増やすカリキュラムで最大24kgのペイロード追従を達成した。
- UAM: VLA訓練における忘却問題への二経路視点からのアプローチVLA2026/5/15
VLAモデルがVLMのマルチモーダル能力を失う「身体化税」問題を、生物学的視覚の二経路構造に着想を得て、並列な背側経路(Dorsal Expert)を追加するUAMを提案し、忘却を抑えつつ操作性能を向上させた。
- HARP-VLA: 人間とロボットの視覚表現を整合させる視覚言語行動モデル学習VLA2026/5/1
人間の動画とロボットのデータを共同学習する際、視覚表現のずれを埋めるため、限られたペアデータを橋渡しにし、大規模な非ペア動画から整合的な表現を学習するフレームワークを提案した。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- 身体化AIのための加法的合成潜在行動の学習VLA2026/4/3
視覚遷移から潜在行動を学習する際に、物理運動の加法的・合成的構造を強制するモデルAC-LAMを提案し、下流のポリシー学習の性能を向上させた。
- Veo-Act: 最先端ビデオモデルはどこまで汎用ロボット操作を前進させられるか?操作2026/4/1
ビデオ生成モデルVeo-3を高次プランナーとして使い、低次実行にはVLAポリシーを用いる階層的フレームワークVeo-Actを提案し、操作性能を向上させた。
- Hi-WM: 人間参加型ワールドモデルによるロボットポストトレーニングのスケーラブル化VLA/ポストトレーニング2026/4/1
実世界での介入を必要とせず、学習したワールドモデル内で人間が修正行動を提供することで、失敗箇所に集中したポリシー改善を実現するポストトレーニング手法を提案。実機操作タスクで成功率を大幅に向上させた。
- VLAW:視覚-言語-行動ポリシーと世界モデルの反復的相互改善VLA2026/2/1
実ロボットのロールアウトデータで世界モデルの精度を高め、その世界モデルが生成する合成データでVLAモデルを改善する反復手法を提案し、実タスクで成功率を39.2%向上させた。
- BagelVLA: 視覚・言語・行動の交互生成による長期的マニピュレーションの強化VLA2026/2/1
言語計画と視覚予測を行動生成ループに交互に組み込み、長期的なロボット操作タスクの性能を高める統合モデルを提案した。
- UniJEPA:連続・離散表現の統合学習によるロボットポリシーの強化VLA2025/10/1
100万件超の操作動画で視覚表現を事前学習し、ロボット実機データで微調整することで、予測表現から行動トークンへのマッピングを学習する汎用ロボットポリシー手法を提案。
- Ctrl-World: ロボットマニピュレーションのための制御可能な生成ワールドモデルワールドモデル2025/10/1
多視点予測と細かい行動制御、長期一貫性を備えた制御可能なワールドモデルを提案し、汎用ロボット政策の評価と改善を可能にした。
- villa-X:Vision-Language-Actionモデルにおける潜在行動モデリングの強化VLA2025/7/1
VLA事前学習に潜在行動(2フレーム間の動きの抽象表現)を組み込み、その学習方法と統合方法を改善したViLLAフレームワークvilla-Xを提案。未見の身体でもゼロショットで潜在行動計画を生成でき、シミュレーションと実機のグリッパー・多指ハンド操作で高性能を示した。
- 人間のデモ動画をプロンプトとして汎化可能なロボット方策を学習模倣学習2025/5/1
人間のデモ動画をプロンプトとして与えるだけで、新たな遠隔操作データや微調整なしに器用な操作タスクを実行できるロボット方策を、二段階の学習フレームワークで実現した。
- Whleaper:10自由度の柔軟な二足車輪型ロボット歩行2025/4/1
各脚の股関節に3自由度を持たせた10自由度の二足車輪型ロボットを開発し、歩行とスライド移動の制御アルゴリズムにより高い安定性と柔軟性を実現した。
- オンライン強化学習による視覚言語行動モデルの改善VLA2025/1/1
大規模視覚言語行動モデルをオンライン強化学習で改善する際の不安定性と計算負荷に対処するため、強化学習と教師あり学習を交互に繰り返すiRe-VLAフレームワークを提案し、シミュレーションと実機で有効性を検証した。
- 動画予測ポリシー:予測的視覚表現を持つ汎用ロボットポリシーVLA2024/12/1
動画拡散モデルが持つ未来予測的な視覚表現を活用し、ロボット操作のための汎用ポリシーを学習する手法を提案。Calvinベンチマークと実世界の巧緻操作で大幅な性能向上を達成した。
- 行動予測と画像予測の統合拡散過程による視覚ポリシー学習VLA2024/11/1
画像予測とロボット行動生成を同一の拡散過程で統合し、将来画像と行動を同時に予測する視覚ポリシー学習フレームワークPADを提案。Metaworldベンチマークで26.3%の相対改善を達成。
- HiRT: 階層型ロボットトランスフォーマーによるロボット制御の強化VLA2024/10/1
大規模VLAモデルの計算コストと遅延を抑えるため、低頻度のVLMと高頻度の視覚ポリシーを組み合わせた階層型トランスフォーマーを提案し、動的タスクの成功率を向上させた。
- ノイズ除去世界モデル学習によるヒューマノイドの難地形歩行の実現歩行2024/8/1
ノイズ除去世界モデル学習(DWL)という強化学習フレームワークを提案し、ヒューマノイドが雪上や傾斜地、階段、極度の凹凸地形をゼロショットのsim-to-real転移で歩行できることを示した。
- Humanoid-Gym:ゼロショットSim2Real転移を実現するヒューマノイドロボットの強化学習フレームワークsim2real2024/4/1
Nvidia Isaac Gym上でヒューマノイドの歩行スキルを学習し、シミュレーションから実機へゼロショットで転移できる強化学習フレームワークを提案。Isaac GymからMujocoへのsim-to-sim検証も統合し、実機ロボットで有効性を確認した。
- 潜在深層強化学習とデモンストレーションを用いた効率的で汎用性の高いエンドツーエンド自動運転システム自動運転2024/1/1
正規化フローと変分推論を組み合わせた強化学習と専門家デモンストレーションを統合し、複雑な都市環境でのサンプル効率、安全性、汎化性能を向上させたエンドツーエンド自動運転システムを提案。
- LLMにプロンプトを与えてロボットを歩かせる歩行2023/9/1
物理環境から収集した少数のプロンプトを使い、タスク特化の微調整なしでLLMがロボットの低レベル制御コマンドを自己回帰的に生成し、歩行を実現する手法を提案した。
- 不完全な人間のデモンストレーションを用いたスタイル化卓球ロボットのスキル学習sim2real2023/9/1
人間の不完全なデモンストレーションから卓球のプレースタイルを模倣し、強化学習でロボットを訓練する手法を提案。データ拡張により様々な球速に適応し、異なるシミュレータで評価した。
- DoReMi: 計画と実行の不一致を検出・回復して言語モデルを接地するVLA2023/7/1
LLMに高レベル計画と実行時の制約生成の二役を担わせ、VLMで制約違反を監視することで、計画と実行のずれを即時検出し回復するフレームワークを提案した。
- 複雑なロボットシステムのための分散型運動スキル学習強化学習/歩行2023/6/1
生物の四肢独立制御に着想を得て、運動グループを自動発見し分散制御ポリシーを学習するDEMOSを提案。四足・人型ロボットで局所故障に強く、新タスクへの転移も可能。
- 実環境で頑健・俊敏・自然な脚式移動スキルの学習歩行2023/4/1
実動物の運動データを用いた敵対的学習を教師-生徒パイプラインに組み込み、四足ロボットが階段や岩場など難所を固有受容感覚のみで頑健かつ俊敏に歩行できるようにした。
- タスクが一致しないデモンストレーションを用いたスパース報酬下での強化学習強化学習2022/12/1
専門家のデモと目標タスクが似ているが異なる場合に、専門家の価値関数推定でスパース報酬を整形し、デモ周辺の保守的探索を促す手法を提案。
- メタ強化学習におけるタスク表現の disentangle によるゼロショット方策転移メタ強化学習2022/10/1
メタ強化学習でタスクを複数の属性に分解して表現し、未知の組み合わせタスクにも追加探索なしでゼロショットに方策を汎化する手法を提案し、実機の挿入タスクで検証した。
- 不確実性を考慮した到達可能性証明による安全なモデルベース強化学習安全強化学習2022/10/1
モデルの不確実性に対処する分布型到達可能性証明(DRC)を提案し、訓練中の制約違反を抑えつつ高いリターンを得る安全なモデルベース強化学習フレームワークを構築した。
- 接触安全な強化学習フレームワークによる接触の多いロボットマニピュレーションマニピュレーション2022/7/1
強化学習で接触の多いロボット作業を行う際に、予期せぬ衝突を即座に検知して接触力を小さく抑え、タスク空間と関節空間の両方で安全性を保つフレームワークを提案し、実機の拭き取り作業で有効性を示した。
- 到達可能性に基づく制約付き強化学習制約付き強化学習2022/5/1
到達可能性解析を用いて安全な状態集合(可到達集合)を自己整合的に特徴づけ、それを制約として組み込む制約付き強化学習手法を提案し、最大の可到達集合を保証しつつ局所最適解への収束を証明した。
- チャンス制約付き反復線形二次確率ゲームマルチロボット計画2022/3/1
拡張ラグランジュ法を用いてチャンス制約付き確率ゲームを解くCCILQGamesを提案し、合流・交差点・ラウンドアバウトの自動運転シナリオで安全で協調的な戦略を生成できることを示した。
- モデルフリー制約付き強化学習におけるゼロ制約違反ポリシーの学習安全強化学習2021/11/1
安全指向のエネルギー関数(安全指数)でポリシー更新を制限し、危険行動を事前に特定することで、収束後に制約違反ゼロのポリシーを学習するSSACアルゴリズムを提案した論文。
- 少ない教師データで把持を学習する最尤把持サンプリング損失マニピュレーション2021/10/1
画像あたりの把持ラベルが少ないデータでも学習できるよう、把持分布からの確率的サンプリングを仮定した最尤損失を提案し、従来の8倍少ないラベルで90.7%の把持成功率を達成した。
- 実時間確率制約付きガウス信念空間計画のための制約付き反復LQG運動計画2021/8/1
不確実性下の運動計画を確率制約付きガウス信念空間計画として定式化し、実時間で解く制約付き反復LQGアルゴリズムを提案した。自動運転の静的・動的障害物計画シミュレーションで、不確実性への適切な対処と高速計算を実証した。
- 分離型PIラグランジュによるモデルベース機会制約付き強化学習安全強化学習2021/8/1
安全確率を制御出力とみなし、ペナルティ法とラグランジュ法を比例・積分制御として統合した分離型PIラグランジュ法を提案し、振動や保守性を抑えつつ実機移動ロボットの障害物回避に適用した。
- 一般化制御バリア関数を用いたモデルベース制約付き強化学習制約付き強化学習2021/3/1
制約境界までの距離に基づく一般化制御バリア関数(GCBF)でモデルベース制約付き強化学習を拡張し、安全性制約違反を抑えつつサンプル効率を高める手法を提案。自動運転の衝突回避タスクで制約違反を最大4分の1に削減し、収束を3.36倍高速化した。
- 仮想記憶で安定して運転を学習する自動運転/強化学習2021/2/1
高次元の画像入力から潜在状態と潜在ダイナミクスモデルを学習し、想像上の軌跡を仮想記憶として方策学習に用いることで、データ効率と学習安定性を高めた自動運転向け強化学習手法を提案した。
- 強化学習に基づく複雑な運転シナリオ向けの安全な階層型計画フレームワーク自動運転計画2021/1/1
低レベルの安全な制御器群と高レベルの強化学習コーディネータを組み合わせ、安全性を保証しつつ複雑な交通状況で効率的に意思決定する階層型行動計画を提案した。
- ガイド付き方策探索による都市自動運転のモデルベース強化学習モデルベースRL/自動運転2020/5/1
Carla都市運転シミュレータにおいて、パラメータ化動的モデルを反復学習しその下で運転方策を最適化するモデルベース強化学習(GPS)を適用し、サンプル効率を約100倍改善した。
- 潜在深層強化学習による解釈可能な都市自動運転自動運転/強化学習2020/1/1
逐次潜在環境モデルを強化学習と同時に学習し、意味的バードアイマスクを生成することで、複雑な都市シナリオでの自動運転方策を解釈可能にした研究。
- デュアルLSTMによる意図認識を考慮した周辺車両の長期軌道予測軌道予測2019/6/1
2段のLSTMを用いて周辺車両の運転意図を推定し、その結果を踏まえて5秒先までの長期軌道を高精度に予測する手法を提案した。
- 都市自動運転のためのモデルフリー深層強化学習自動運転/強化学習2019/4/1
複雑な都市交差点での自動運転判断を、手設計なしで学習できるモデルフリー深層強化学習フレームワークを提案し、高精細シミュレータのラウンドアバウト課題で有効性を示した。
- 安全性を強化した都市部自動運転のための深層模倣学習自動運転2019/3/1
オフラインの走行データから都市部の運転方策を模倣学習で獲得し、テスト時には安全コントローラを組み合わせて安全性を保証する枠組みを提案した。
