Li Yi
Tsinghua University
収録論文 47本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- CFGComposer:コピュラスコア補正による音声・テキストからの合成動作生成動作生成2026/11/11
音声とテキストから全身ジェスチャーを生成するため、2つの拡散モデルを推論時に合成し、コピュラスコアを補正項として注入する手法を提案。BEATで高精度な意味整合とビート同期を達成し、人型ロボットへの実機展開も確認。
- 即時触覚反射を全身ヒューマノイド制御にボトムアップ統合するReflexArc触覚2026/11/3
全身触覚から危険接触を検知し10ms以内に反射的な退避姿勢をモータへ直接指令する反射経路と、それを学習済み全身制御に統合する枠組みを提案し、Unitree G1で力ピークを34%低減した。
- HumanoidNDM:ヒューマノイド神経力学モデルによる動作追従の訓練-実環境ギャップの解消sim2real2026/10/25
実環境で学習した神経力学モデルを用い、モーションキャプチャ不要でヒューマノイドの動作追従ポリシーをオンライン微調整する枠組みを提案し、Unitree G1で外乱への適応を実証した。
- AdaDexTrack: 適応的で汎化可能な巧みな操作トラッキングのための動的変調マニピュレーション2026/10/24
言語指示による手先の巧みな操作を「変調付きトラッキング」として捉え、参照・物体表現・位置目標をオンラインで補正するモジュレータを強化学習で訓練し、未見軌道や実機へのゼロショット転移で高い頑健性を示した研究。
- 物理的RSI能力はどこから来るのか:LLM-as-policyの観測的スケーリング則VLA2026/10/19
VLMエージェントの物理的再帰的自己改善を5軸指標で評価し、公開ベンチマーク性能から改善の速さと到達度を予測する観測的スケーリング則を導出した研究。
- CQDC-Warp: 接触の多いマニピュレーションのためのGPU加速微分可能準動的シミュレーションマニピュレーション2026/10/15
GPU上で並列に動作する微分可能な準動的シミュレータを開発し、接触を考慮した軌道最適化を高速化。Allegroハンドの回転タスクで成功率79.8%を達成し、従来手法より27〜50倍高速化した。
- Uni-PNP:把持・非把持動作を統合した汎用物体姿勢到達ポリシー学習マニピュレーション2026/10/15
把持と非把持の操作を単一ポリシーで統合学習し、多様な物体・グリッパで物体姿勢到達を実現する手法を提案。
- PINT: ロボットマニピュレーションのための共有予測意図を持つ統合モデルマニピュレーション2026/10/12
VLM・動画生成モデル・行動生成を「予測意図」トークンで橋渡しし、各専門家の経路を保ちながら統合したロボット操作モデル。実機事前学習なしで分布外汎化を大幅改善。
- PASSAGE: 雑然環境における知覚型ヒューマノイド移動のためのシーン整合運動学習のスケーリング歩行2026/9/16
VRと慣性モーションキャプチャで収集した1500の雑然シーンにおける100時間の人間動作データを用い、条件付きフローマッチングプランナと全身トラッカーを組み合わせて、未知の障害物環境でもヒューマノイドが知覚に基づき踏み越え・すり抜け・くぐり抜けを選択・実行できる枠組みを提案。
- UniPart: 実世界インタラクションのためのゼロショット言語接地3Dパーツセグメンテーション3Dセグメンテーション2026/9/11
自由なテキスト指示から点群上の機能パーツを切り出すクロスモーダル3D Transformerを提案し、大規模データセット構築によりゼロショット性能と実機把持への転移を実現した。
- RoboGesture: 人間型ロボットのためのリアルタイム意味整合型共話ジェスチャ生成ヒューマノイド/ジェスチャ生成2026/8/27
人間型ロボットが音声に同期し意味的に適切なジェスチャをリアルタイム生成するフレームワークを提案。データセット構築、モデル設計、安全制御を統合し、実機で検証した。
- HumanTracker:人間の知覚に整合した包括的なモーション追跡ベンチマークモーション追跡2026/8/1
ヒューマノイドのモーション追跡評価を人間の知覚に整合させ、大規模化するためのベンチマークと評価指標を提案した論文。
- 人型ロボットのためのスケーリング行動基盤モデル人型ロボット制御2026/7/1
人型ロボットの制御を大規模行動データで学習する行動基盤モデル(BFM)のスケーリング手法を提案し、学習パラダイム、データ、モデル構造の協調により性能が向上することを示した。
- LIMMT: モーショントラッキングには少ない方が良いモーショントラッキング2026/6/1
物理ベースのヒューマノイドモーショントラッキングにおいて、データ品質(物理的実現可能性、多様性、複雑さ)に基づいてデータを選別することで、全データセットの3%未満のデータでより良い追跡性能を達成できることを示した初のデータ中心的研究。
- KPGrasp: 器用な把持生成のためのスケーラブルなキーポイントフローマッチングマニピュレーション2026/6/1
接触損失やテスト時の接触ベースの改良に頼らず、大規模データから器用な把持の事前分布を学習するフローマッチングフレームワークを提案した。
- Humanoid-GPT: データと構造のスケーリングによるゼロショット動作追跡全身制御2026/6/1
大規模な動作コーパスで事前学習したGPTスタイルのTransformerを用いて、人型ロボットの全身制御とゼロショット動作追跡を実現した論文。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- 不完全な人間のモーションデータから学ぶアスリート級ヒューマノイドテニススキルヒューマノイド/模倣学習/sim2real2026/3/1
不完全な人間のテニス動作断片からヒューマノイドがテニススキルを学習し、実機で人間とラリーを続けられるようにするシステムを提案した。
- LDA-1B:汎用身体データ取り込みによる潜在ダイナミクス行動モデルのスケーリングVLA2026/2/1
異種の身体データからダイナミクス・方策・視覚予測を統合学習する10億パラメータのロボット基盤モデルを提案し、接触・器用・長距離タスクで性能を向上させた。
- 雑然とした屋内環境における衝突のないヒューマノイド移動歩行2026/1/1
ヒューマノイドが障害物を避けて屋内を移動するためのHumanoid Potential Field表現とハイブリッドシーン生成を提案し、実機転移を実現した。
- RF-MatID: 無線周波数による材料識別のためのデータセットとベンチマークRFセンシング2026/1/1
4〜43.5GHzの広帯域RFデータ14.2万サンプルを収集し、深層学習モデルによる材料識別のベンチマークを構築した研究。
- DexNDM:関節単位のニューラルダイナミクスモデルによる器用な手内回転のリアルギャップ解消sim2real2025/10/1
シミュレーションで訓練した単一の方策を実世界の多様な物体に適応させるため、関節ごとのダイナミクスモデルと自律データ収集を組み合わせ、手内回転のsim-to-realギャップを大幅に縮小した研究。
- MotionTrans: 人間のVRデータでロボットマニピュレーション方策の動作レベル学習を実現マニピュレーション2025/9/1
VRで収集した人間の動作データを変換し、ロボットデータと重み付き共訓練することで、13タスクの動作をエンドツーエンド方策へ直接転移。9タスクはゼロショットで成功し、事前学習・微調整性能も40%向上。
- あらゆる外乱下であらゆる動作を追従するヒューマノイド動作トラッカーsim2real2025/9/1
二段階強化学習フレームワークAny2Trackを提案し、単一ポリシーで多様な動作を追従しつつ、地形・外力・物性変化などの外乱にオンライン適応して実機でゼロショットsim2realを実現した。
- DexVLG: 大規模巧みな視覚-言語-把持モデルマニピュレーション2025/7/1
単視点RGBD入力から言語指示に沿った巧みな手の把持姿勢を予測する大規模モデルを提案し、1.7億の把持データで学習してゼロショット汎化性能を実証した。
- DreamVLA: 包括的な世界知識を夢見る視覚-言語-行動モデルVLA2025/7/1
動的・空間・意味情報を統合した世界知識予測により逆動力学モデリングを行い、知覚-予測-行動ループを実現する新しいVLAフレームワークを提案。
- 実世界対応スキル空間によるヒューマノイドのリーチング能力の解放全身制御/sim2real2025/5/1
実世界で使える基本スキルをライブラリ化し、それらを統合した潜在空間と高レベルプランナーでヒューマノイドの全身リーチングを実現、ゼロショットで実機転移した研究。
- 短い歩行モーション参照から物理ベースの全身リーチング・把持を学習全身マニピュレーション2025/3/1
短い歩行モーションデータのみを用い、物理的に実現可能な全身のリーチング・把持動作を多様に生成するフレームワークを提案。歩行から転移可能な運動パターンと生成された把持姿勢を組み合わせ、能動的データ生成と局所特徴整合で成功率と自然さを向上させた。
- SoFar: 言語に基づく物体の向きが空間推論と物体操作を橋渡しするVLA2025/2/1
自然言語で物体の向きを定義する「意味的向き」を導入し、大規模データセットとゼロショット予測モデルを構築して、6自由度の空間推論とロボット動作生成を可能にした。
- DexTrack: 人間参照からの汎化可能な巧みな操作のためのニューラル追従制御マニピュレーション2025/2/1
人間の手と物体の動きを参照として、多様な物体を巧みに操作するロボットハンドのニューラル追従制御器を、強化学習と模倣学習を組み合わせて訓練する手法を提案。
- MobileH2R: スケーラブルな合成データのみから移動ロボットへの汎化可能な人間からの受け渡しを学習sim2real2025/1/1
シミュレータ上で生成した多様な合成全身人間動作データと4D模倣学習を用い、実世界のデモなしに移動ロボットが人間から物体を受け取る汎化可能なスキルを学習するフレームワークを提案した。
- Mimicking-Bench: 人間模倣による汎化可能なヒューマノイド-シーンインタラクション学習のベンチマークヒューマノイド/模倣学習2024/12/1
大規模な人間アニメーションを模倣してヒューマノイドロボットが3Dシーンと相互作用する技能を学習するための、6タスク・11K物体形状・20K合成/3K実世界参照を含む初のベンチマークを構築し、動作リターゲティングや模倣学習の手法を比較評価した。
- SyncDiff: 同期運動拡散によるマルチボディ人間-物体インタラクション合成運動生成2024/12/1
複数の人間・手・物体が関与するマルチボディのインタラクション運動を、同期運動拡散モデルで生成する手法を提案。周波数領域分解とアラインメントスコアで運動の同期性と忠実度を高めた。
- 自己教師あり単眼4Dシーン再構成による一人称視点動画の理解4D再構成2024/11/1
一人称視点動画からカメラ内部パラメータ・カメラ姿勢・動画深度を自己教師あり学習で推定し、高密度な4Dシーン再構成を高速に行うモデルEgoMono4Dを提案した。
- PhysReaction: 順動力学ガイド付き4D模倣による物理的に妥当なリアルタイムヒューマノイド反応生成ヒューマノイド反応生成2024/4/1
順動力学をガイドにした4D模倣学習により、既存手法の33倍高速で物理的に妥当な人間らしい反応をリアルタイム生成する手法を提案。
- QuasiSim: 巧みな操作の転送のためのパラメータ化準物理シミュレータマニピュレーション2024/4/1
人間の巧みな操作をロボットハンドに転送するため、忠実度と最適化しやすさのバランスを取るパラメータ化準物理シミュレータと物理カリキュラムを提案し、成功率を11%以上向上させた。
- GenH2R: スケーラブルなシミュレーション・デモンストレーション・模倣による汎化可能な人からロボットへの受け渡し学習マニピュレーション2024/1/1
大規模シミュレーション環境と自動デモ生成、未来予測を組み込んだ4D模倣学習を組み合わせ、未知の物体や複雑な軌道にも対応できる視覚ベースの人→ロボット受け渡しスキルを実現した。
- 跳ぶ前に見よ:ロボット視覚言語計画におけるGPT-4Vの能力を解き明かすVLA2023/11/1
視覚言語モデルを活用し、知覚情報を直接統合して長期的なロボットタスク計画を生成するViLaを提案。実機・シミュレーションで既存のLLMベース計画手法を上回る性能を示した。
- TransTouch: 疎な触覚フィードバックによる透明物体の深度センシング学習触覚・深度センシング2023/9/1
触覚フィードバック付きプロービングで自動収集した疎な深度ラベルを用いてステレオネットワークを微調整し、透明物体の実世界深度センシング精度を向上させる手法を提案。
- UniDexGrasp++:幾何認識カリキュラムと反復的ジェネラリスト・スペシャリスト学習による器用把持方策の改善マニピュレーション2023/4/1
数千物体の点群から器用な把持方策を学習するため、物体形状に基づくカリキュラム学習と反復的なジェネラリスト・スペシャリスト学習を導入し、汎化性能を大幅に向上させた。
- UniDexGrasp:多様な把持候補生成と目標条件付き方策による汎用ロボット巧み把持マニピュレーション2023/3/1
点群から多様な巧み把持姿勢を生成する確率的モデルと、目標条件付き把持方策を組み合わせ、数百カテゴリの物体に対する汎用巧み把持を実現した。
- 触覚センシングによる把持物体の汎化可能な6D姿勢追跡の強化触覚2022/10/1
触覚信号を活用して、未知の把持物体の6D姿勢追跡を改善するTEG-Trackを提案し、実世界データセットを構築して有効性を示した。
- 物理シミュレーションと機能予測で故障した3D物体を修理する物理推論2022/5/1
故障した3D物体を修理するため、知覚・物理ダイナミクス予測・機能予測を統合したFixNetを提案し、約5千体のデータセットFixItでベースラインを大きく上回る性能を示した。
- ニューラル二部グラフマッチングによるマルチロボット能動マッピングマルチロボット探索2022/3/1
ロボットとフロンティアの対応を二部グラフマッチングとして定式化し、多重グラフニューラルネットで親和性を学習して強化学習で最適化するマルチロボット能動マッピング手法を提案した。
- SAPIEN:関節物体を備えた物理シミュレーション環境sim2real2020/3/1
家庭用ロボットの学習向けに、関節を持つ多数の物体を収めた物理的にリアルなシミュレーション環境SAPIENを構築し、部品検出や動作属性認識、強化学習による操作タスクを評価した。
- カテゴリレベル関節物体の姿勢推定姿勢推定2019/12/1
単一深度画像から未学習の関節物体インスタンスの姿勢を推定するため、関節を考慮した正規化座標空間階層(ANCSH)を提案し、PointNet++で部位分割・正規化座標・関節パラメータを予測する手法。
- ShapeNet:情報豊富な3Dモデルリポジトリ3Dデータセット2015/12/1
多様なカテゴリの3D CADモデルを大規模に収集し、形状の整列や部品、対称面、物理サイズなどの注釈を付与したデータセット基盤を構築した。
