Yunzhu Li
Columbia University
収録論文 68本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- マルチモーダル3D世界シミュレーションのためのハイブリッド粒子・ボクセルダイナミクス世界モデル2026/11/3
点群を3Dボクセル潜在に圧縮する粒子・ボクセル複合オートエンコーダと行動条件付き潜在ダイナミクスを組み合わせ、見た目・形状・触覚を統一的3D表現で予測する世界モデルを提案した。
- PanoTac:堅牢な触覚中心マニピュレーションのための高密度三軸触覚センサ触覚2026/11/2
低コストで柔軟な三軸触覚指先センサを開発し、視覚触覚パイプラインに統合して、視覚のみのベースラインを平均46.7ポイント上回る接触リッチな操作を実現した。
- DexAgent: 自己進化するツールライブラリを備えたエージェント型Human2Sim2Robotフレームワークによる巧みな操作マニピュレーション2026/9/28
一人称視点の人間動画とタスク指示から、物理的に妥当なロボット軌道を生成して方策学習を可能にするエージェント型フレームワークを提案。ツールライブラリを自己進化させ、多様な物体や長期的タスクに対応する。
- PointZero: 転移可能な3Dダイナミクス学習のための3D点追跡補完3Dダイナミクス/事前学習2026/9/16
ロボットの行動ラベルなしで、RGB-D観測と部分的な3D軌跡から全点の未来軌跡を予測する事前学習手法を提案し、下流のダイナミクス予測や模倣学習で有効性を示した。
- Hydra-0: 汎用世界モデリングと制御のためのアクションフロー世界モデル2026/8/18
ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。
- エージェント型Real2Sim:視覚言語エージェントによる物理ベースの世界モデリングsim2real2026/7/1
ロボットと物体の相互作用の実世界記録を、物理シミュレーション可能な双子モデルに自動変換するフレームワークを提案。視覚言語エージェントが幾何・物理パラメータ・軌道などを自律的に推定し、剛体操作から変形物体、人型動作までを統一的に扱う。
- BoxTwin: ビデオから弾塑性関節物体の動力学を学習する変形物体操作2026/7/1
ビデオから弾塑性関節物体の動力学を学習するデジタルツインフレームワークを提案し、手動折りたたみや双腕操作実験で長期的な塑性変形挙動を正確に再現した。
- VTAPグリッパー:指先センシングと視覚触覚アクティブパームの融合による器用な手内操作マニピュレーション2026/7/1
指先の触覚アレイセンサと可動式の視覚触覚パームを備えたグリッパーを開発し、指とパームの協調と多感覚フィードバックにより、把持から微細な操作までを実現した。また、人間の手の動きを3本指構造にマッピングする段階的リターゲティング手法を提案し、複数の難易度の高い操作タスクで性能を実証した。
- Deform360: 変形可能な世界モデルのための大規模マルチビュー視触覚データセットデータセット/世界モデル2026/7/1
変形物体の動力学予測(世界モデリング)の研究を促進するため、198個の日用品、1,980のインタラクションシーケンス、215時間以上の観測データを含む大規模な視触覚データセットを構築し、2Dビデオモデルと3Dパーティクルモデルの性能を体系的に評価した。
- FELT: 視覚から触覚信号を生成する視触覚操作のためのフレームワーク触覚/操作2026/7/1
RGB画像から指ごとの圧力触覚画像を生成する学習ベースのフレームワークを提案し、触覚データの不足を補い、視触覚ポリシーの性能を向上させる。
- 物理誘導残差ダイナミクスによる変形物体シミュレーションの学習シミュレーション2026/7/1
物理ベースと学習ベースを組み合わせたハイブリッドな変形物体シミュレーション手法を提案し、実世界の多様な物体で精度を向上させた。
- CoStream: 単純な行動の合成による汎用的な複雑操作の実現マニピュレーション2026/6/1
複雑な操作タスクを、基盤モデルと多様なセンシングを組み合わせた複数の単純な行動(意味的・予測的・反応的)に分解し、それらをSE(3)インターフェース上で合成することで、高精度と汎用性を両立するフレームワークを提案した。
- FlexiTac: ロボットシステム向け低コスト・オープンソース・スケーラブルな触覚センシングソリューション触覚2026/4/1
低コストでオープンソースの圧電抵抗式触覚センサモジュールを提案し、薄型センサパッドと多チャンネル読み出し基板を備え、様々なロボットハンドに容易に取り付け可能。触覚学習パイプラインにも対応する。
- 触覚を活用した四脚ロボットの移動操作ポリシー学習移動操作/触覚/強化学習2026/4/1
四脚ロボットの移動操作において、視覚と自己受容感覚に加えて触覚情報を活用する階層的ポリシー学習手法を提案。実世界の人間デモから触覚条件付き高レベルポリシーを学習し、シミュレーションでの大規模強化学習により全身制御ポリシーを獲得し、実世界へゼロショット転送する。接触を伴うタスクで平均28.54%の性能向上を達成。
- 実世界からシミュレーション、そして実世界へ:共有自律による効率的で信頼性の高い遠隔操作遠隔操作/共有自律2026/3/1
実世界の遠隔操作データから学習した人間の代理モデルを用いて、シミュレーションで残差コパイロットポリシーを訓練し、実世界の微細な操作タスクで人間の遠隔操作を支援する共有自律フレームワークを提案。
- ManipulationNet:物理的スキル課題と身体化マルチモーダル推論を備えた実世界ロボット操作のベンチマーク基盤ベンチマーク2026/3/1
実世界のロボット操作タスクを標準化されたハードウェアキットと統一ソフトウェアクライアントで提供し、物理スキルと身体化推論の2トラックで評価する持続可能なベンチマーク基盤を提案した。
- ロボットマニピュレータのための汎用ニューラルモーションプランナーに向けて:課題と機会モーションプランニング2026/3/1
この論文は、ロボットマニピュレータのモーションプランニングにおけるニューラルプランナーの現状をレビューし、その利点と限界を分析して、汎用性の高いプランナーを構築するための道筋を示しています。
- IMPASTO: モデルベース計画と学習された力学モデルを統合したロボット油絵再現ロボットアート/計画2026/3/1
ロボットが油絵の画像列から筆の軌道や力、色を推論して再現するシステムを提案。学習したピクセル力学モデルとモデル予測制御を統合し、自己対戦のみで学習する。
- ロボット政策の訓練と評価のためのインタラクティブ世界シミュレータ世界モデル2026/3/1
一貫性モデルを用いて高速かつ安定なインタラクティブ世界モデルを構築し、ロボット政策の訓練と評価を可能にするフレームワークを提案。世界モデル内で収集したデータで訓練した政策が実世界データと同等の性能を示し、シミュレーションと実世界の性能に強い相関があることを実証。
- 低コスト触覚力制御グリッパによる力調整マニピュレーションの学習マニピュレーション2026/2/1
低コストの触覚フィードバック付き力制御グリッパと、把持力を高頻度で調整するフレームワークを提案し、力加減が重要な実世界タスクで有効性を示した。
- 現在のエージェントは世界モデルを先見のツールとして活用できていないVLA2026/1/7
視覚言語モデルベースのエージェントが生成的世界モデルを外部シミュレータとして使えるかを検証し、シミュレーションの起動判断や予測結果の解釈・統合がボトルネックで性能が向上しないことを示した実証研究。
- 因子分解拡散ポリシーによる柔軟なマルチタスク学習マニピュレーション2025/12/1
複雑な行動分布を専門化した拡散モデルの合成に分解するモジュラー拡散ポリシーを提案し、マルチタスク操作で性能と適応性を向上させた。
- ガウススプラッティングによる軟体相互作用のReal-to-Simロボット方策評価sim2real2025/11/1
実世界の動画から軟体のデジタルツインを構築し、3Dガウススプラッティングでフォトリアルに描画するReal-to-Sim評価フレームワークを提案。ぬいぐるみ詰め込みやロープ通しなどの変形操作タスクで、シミュレーション結果が実機性能と強く相関することを示した。
- VT-Refine: 視触覚フィードバックによる両手組立のシミュレーション微調整学習マニピュレーション2025/10/1
少数の実演と高忠実度の触覚シミュレーションを組み合わせ、強化学習で両手組立ポリシーを微調整することで、接触の多い精密作業の実世界性能を向上させた研究。
- マルチモーダル政策コンセンサスによるマルチモーダルマニピュレーションマニピュレーション2025/9/1
視覚や触覚など複数の感覚モダリティを、それぞれに特化した拡散モデルと適応的な重み付けを行うルータネットワークで統合し、接触の多いタスクや遮蔽された物体の操作を可能にする手法を提案。
- 実世界での触覚:ポータブル視触覚グリッパによる繊細なマニピュレーション学習触覚2025/7/1
触覚センサ内蔵のポータブルグリッパで視覚と触覚のデータを同時収集し、両モダリティの特性を保つ表現学習により、試験管挿入やピペット操作などの精密作業を高精度・高ロバストに実現した。
- 生成動画を模倣するロボットマニピュレーション:物理的実演なしで複雑タスクを実現マニピュレーション2025/7/1
言語指示と初期画像からAIが生成した動画を模倣し、物理的な実演やロボット固有の訓練なしに、注ぐ・拭く・混ぜるなどの複雑な操作をロボットに実行させるシステムを開発した。
- CodeDiffuser: VLM生成コードによる曖昧な指示に対応する注意強化拡散ポリシーVLA2025/6/1
VLMが自然言語指示を解釈してタスク固有のコードを生成し、そのコードから3D注意マップを作って拡散ポリシーを誘導することで、曖昧な指示下のロボットマニピュレーションを実現するフレームワーク。
- RGB-D動画から変形可能物体モデルを学習する粒子-グリッドニューラルダイナミクス変形可能物体モデリング2025/6/1
粒子と空間グリッドを組み合わせたハイブリッド表現で、ロボットと物体の相互作用を撮影したRGB-D動画から、ロープや布などの変形可能物体のダイナミクスを学習し、モデルベース計画に応用する手法を提案。
- 道具をインターフェースとして:人間の道具使用観察からのロボット方策学習模倣学習2025/4/1
人間の道具使用動画から3D再構成と道具中心のタスク空間行動を用いてロボット方策を学習し、視点変化や身体差を克服するフレームワークを提案した。
- 状態拡散と逆動力学モデルを用いた協調的双腕マニピュレーション方策の学習マニピュレーション2025/3/1
拡散モデルで将来の状態を予測し、逆動力学モデルで行動を生成することで、双腕ロボットの協調マニピュレーションを模倣学習する手法を提案。
- KUDA: キーポイントで力学学習と視覚プロンプトを統合するオープンボキャブラリロボット操作マニピュレーション2025/3/1
RGB画像上のキーポイントをVLMで目標指定に変換し、学習した力学モデルでコスト関数を最適化することで、多様な物体や変形・粒状物体の操作を可能にするオープンボキャブラリ操作システムを提案した。
- 地形操作のための局所グラフベースニューラルダイナミクスモデル地形操作2025/3/1
地形操作のための学習ベースのダイナミクスモデルを提案し、大規模な地形グラフからロボットの制御入力に基づいて小さな関心領域を特定することで、計算効率と予測精度を向上させた。
- PhysTwin: 動画からの物理情報に基づく変形可能物体の再構成とシミュレーションsim2real2025/3/1
動的物体の少数視点動画から、ばね-質量モデルとガウシアンスプラッティングを組み合わせて物理的にリアルなデジタルツインを再構成し、リアルタイム対話型シミュレーションやロボット動作計画を可能にするフレームワーク。
- VLM生成の反復キーポイント報酬による実機-シミュレーション-実機のロボットマニピュレーションマニピュレーション2025/2/1
VLMが言語指示とRGB-D観測からキーポイント間の関係に基づく報酬関数を生成・反復改善し、実世界シーンをシミュレーションで再構築してRL方策を訓練、実機へ展開する枠組みを提案。
- CuriousBot: 操作可能な3D関係物体グラフによる対話型移動探索移動探索2025/1/1
物体間の多様な関係を表す3D関係物体グラフを構築し、移動ロボットが能動的な操作を通じて環境を探索するシステムを提案。VLMのみの手法を上回る性能を示した。
- BaB-ND: 分枝限定法とニューラルダイナミクスによる長期的動作計画マニピュレーション2024/12/1
ニューラルダイナミクスモデル上での軌道最適化に分枝限定法をGPUで高速化し、接触の多い長期的なマニピュレーション計画を高精度に解くフレームワークを提案。
- 3D-ViTac:視触覚センシングによる繊細なマニピュレーションの学習マニピュレーション2024/10/1
低コストで柔軟な高密度触覚センサと視覚情報を統合した3D表現を用い、拡散ポリシーによる模倣学習で両手巧みな操作を実現するシステムを提案。
- グラフベース神経力学モデリングのための動的3Dガウシアントラッキングsim2real2024/10/1
多視点RGB動画から3Dガウシアン表現とグラフニューラルネットワークを用いて物体の力学モデルを学習し、ロボット動作に条件付けられた将来予測や操作計画を可能にするフレームワークを提案。
- GenDP: カテゴリレベル汎化を実現する3Dセマンティックフィールド拡散ポリシーVLA2024/10/1
マルチビューRGBDから大規模視覚モデルで3D記述子場を生成し、参照記述子と比較して意味場を得ることで、拡散ポリシーの未見物体への汎化性能を20%から93%に向上させた。
- ReKep: ロボットマニピュレーションのための関係的キーポイント制約の時空間推論マニピュレーション2024/9/1
環境中の3Dキーポイント間の関係をPython関数で表す制約(ReKep)を導入し、大規模視覚モデルと言語モデルを用いて自由形式の指示から自動生成することで、多様なマニピュレーションタスクをリアルタイムに実行する手法を提案。
- RoboPack: 触覚情報を活用した動力学モデルによる高密度パッキング触覚2024/7/1
視覚と触覚を組み合わせたリカレントグラフニューラルネットワークで物体状態を推定し、モデル予測制御により非把持操作や高密度パッキングを実現する手法を提案。
- AdaptiGraph: 材料適応型グラフベースニューラルダイナミクスによるロボットマニピュレーションマニピュレーション2024/7/1
物理特性が未知の多様な変形可能物体に対し、グラフニューラルネットワークによる動力学モデルを数ショットで適応させ、予測と操作を可能にする手法を提案。
- BEHAVIOR-1K:1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- RoboEXP: 対話的探索による行動条件付きシーングラフの構築とロボットマニピュレーションへの応用マニピュレーション2024/2/1
ロボットが環境を自律的に探索し、物体間の行動条件付き関係を表すシーングラフを構築するRoboEXPを提案。大規模マルチモーダルモデルとメモリ設計により、多様な実世界マニピュレーションタスクでの有効性を示した。
- スパースニューラルダイナミクスを用いたモデルベース制御モデルベース制御2023/12/1
ニューラルネットワークによる動力学モデルをスパース化し、混合整数計画法で効率的に予測制御するフレームワークを提案。物体押しや変形物体操作などで既存手法を上回る性能を示した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- D³Fields: ゼロショットで汎化可能な再配置のための動的3D記述子フィールドマニピュレーション2023/9/1
3D点を入力に意味特徴とインスタンスマスクを出力し、動的な環境変化も捉える暗黙的3D表現を提案し、ゼロショットでの物体再配置タスクで有効性を示した。
- 行動プリミティブによる物体相互作用予測:収納タスクへの応用マニピュレーション2023/9/1
行動プリミティブのパラメータ空間で物体同士の相互作用をGNNで予測し、単一のデモから収納タスクを実行する汎化可能なロボット方策を提案した。シミュレーションのみで学習しながら実環境の多様な棚や物体に適応できる。
- VoxPoser: 言語モデルによるロボット操作のための構成可能な3Dバリューマップマニピュレーション2023/7/1
大規模言語モデルと視覚言語モデルを組み合わせ、自由形式の指示から3Dバリューマップを生成してロボットの6自由度軌道をゼロショットで合成する手法を提案。
- ObjectFolderベンチマーク:神経オブジェクトと実物体によるマルチセンサリー学習マルチモーダル知覚2023/6/1
視覚・音・触覚を統合した物体中心学習の10タスクベンチマークと、実世界の家庭用品100個のマルチセンサリーデータセットを公開し、各感覚の役割を体系的に評価した。
- 物体中心ニューラル散乱関数によるマルチオブジェクト操作マニピュレーション2023/6/1
物体ごとの光の散乱を表すニューラル表現OSFをモデル予測制御に組み込み、複数物体の操作を照明条件が厳しく未知の環境でも高精度に実現した。
- RoboCook: 多様な道具を用いた長期的な弾塑性物体操作マニピュレーション2023/6/1
点群表現とGNNで道具と物体の相互作用をモデル化し、道具ごとに20分の実データから長期の柔軟物体操作(餃子やクッキー作り)を学習するロボットシステム。
- 物体の山を操作するための動的解像度モデル学習マニピュレーション2023/6/1
環境を粒子表現で表し、グラフニューラルネットワークで解像度を連続的に選択できる統一的なダイナミクスモデルを学習。テスト時にはMPCの各ステップで最適な解像度を適応的に決定し、粒状物体の山の操作タスクで固定解像度の手法を上回る性能を実現した。
- 分散型非IIDラベルなしデータの学習は自己教師あり学習から恩恵を受けるか?自己教師あり学習2022/10/1
分散環境でラベルなし・非均質なデータから自己教師あり学習(対照学習)を行い、通信コストを抑えつつ集中型SSLに匹敵する表現を獲得できることを大規模データセットで示した研究。
- 点群からの時空間抽象化による変形物体操作の計画変形物体操作2022/10/1
点群を潜在ベクトルに変換し、スキル系列を計画することで、包丁やローラーなど複数の道具を使う変形物体操作を実世界で実現した。
- NeRFを教師信号に用いた強化学習VLA2022/6/1
Neural Radiance Fieldsを監督信号として画像から潜在状態表現を学習し、ロボット物体操作タスクの強化学習性能を向上させる手法NeRF-RLを提案。
- RoboCraft: グラフネットワークで弾塑性物体を見て・シミュレートし・形作る学習変形物体マニピュレーション2022/5/1
RGBD画像から粒子表現を構築し、グラフニューラルネットで弾塑性物体のダイナミクスを学習、モデル予測制御で未知の目標形状へ変形させるロボットシステムを提案。
- ComPhy: 動画からの物体と事象の合成的物理推論物理推論2022/5/1
見た目では分からない質量や電荷などの隠れた物理特性を動画から推論するComPhyデータセットを提案し、既存の動画推論モデルの限界を示した。
- DiffSkill: 微分可能物理に基づくスキル抽象化による道具を用いた変形物体操作変形物体操作2022/3/1
微分可能物理シミュレータで短期的な道具操作スキルを獲得し、RGBD画像からスキルを抽象化するニューラルネットを学習して、長期的な変形物体操作タスクを計画・実行するフレームワークを提案した。
- 合成可能なNeRFによるマルチオブジェクトダイナミクスの学習NeRF/ダイナミクス2022/2/1
複数視点画像から物体ごとの潜在ベクトルを抽出し、個別NeRFでシーンを再構成した上で、潜在空間上のグラフニューラルネットワークで物体間の動力学を学習する手法を提案。剛体・変形物体を含む構成的シーンの長期予測が安定することを示した。
- 触覚センシングによる手と物体の相互作用の動的モデリング触覚2021/9/1
高解像度触覚グローブで物体操作時の触覚データを取得し、視覚パイプラインで生成したラベルを教師として、触覚のみから手と物体の3D位置を予測するクロスモーダル学習モデルを構築した研究。
- 視覚運動制御のための3Dニューラルシーン表現視覚運動制御2021/7/1
NeRFと時間コントラスト学習を組み合わせ、2D画像から視点不変な3Dシーン表現を学習し、剛体や流体の操作タスクにおける視覚運動制御を実現した研究。
- 未来へのキーポイント:モデルベース強化学習における自己教師あり対応学習モデルベースRL2020/9/1
画像からキーポイントの対応関係を自己教師ありで学習し、それを用いた予測モデルでモデルベース強化学習を行う手法を提案。3Dシーンやオクルージョン、カテゴリ汎化で精度が向上し、実機でも有効性を確認した。
- 物体数可変環境のための合成Koopmanオペレータ学習モデルベース制御2019/10/1
グラフニューラルネットで物体中心の埋め込みを構成し、ブロック単位の線形遷移行列でKoopmanオペレータを学習することで、物体数が変化する環境でもモデルベース制御を可能にした。
- 視覚と触覚をつなぐクロスモーダル予測マルチモーダル学習2019/6/1
視覚と触覚の相互変換を実現するため、ロボットに両センサーを搭載して大規模データセットを収集し、スケール差を考慮した条件付き敵対的モデルで触覚から視覚、視覚から触覚の生成を行う。
- 粒子ダイナミクス学習による剛体・変形物体・流体の操作粒子ベースシミュレーション2018/10/1
粒子ベースのシミュレータを学習により構築し、剛体・軟体・流体など多様な物質の複雑なロボット操作を実現した研究。
- 部分観測下のモデルベース制御のための伝播ネットワークモデルベース制御2018/9/1
部分観測環境でも使える学習可能な力学モデルPropNetを提案し、ペアワイズを超えた信号伝播を可能にして、順方向シミュレーションと制御タスクで既存手法を上回る性能を示した論文。
