Vincent Sitzmann

Massachusetts Institute of Technology

収録論文 9本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• 自己改善型ビデオ・トゥ・アクションモデル
  VLA2026/10/16

  環境との相互作用のみでビデオから行動への変換を自己教師あり学習し、視覚プランに従う行動を段階的に改善する手法Mirrorを提案。

• 重要視覚手がかりで動画計画を誘導する汎用ロボットナビゲーション
  ナビゲーション2026/9/15

  鳥瞰図と自己身体視点を視覚手がかりとして動画生成モデルによるナビゲーション計画を誘導し、逆動力学モデルで精密な行動に変換するフレームワークを提案。迷路や狭路での成功率を大幅に向上させ、異なるロボットへのゼロショット展開も示した。

• ビデオモデルを汎用ロボットポリシーへ変換する
  VLA2026/5/1

  ビデオ生成モデルをそのまま使い、逆動力学モデル(IDM)を個別に学習してビデオ計画を行動に変換する手法を提案。シミュレーションと実世界で高い性能を示した。

• 大規模動画プランナーによる汎用ロボット制御
  VLA2025/12/1

  インターネット規模の人間活動動画で生成的なロボット計画モデルを基盤モデル規模で学習し、新しい場面やタスクに対してゼロショットで動画計画を生成して実機の行動に変換する手法を提案した。

• 深層ネットワークによるヤコビアン場推定で多様なロボットを制御
  ロボット制御2024/7/1

  カメラ映像からロボットの視覚運動ヤコビアン場を深層学習で推定し、単一カメラのみで多様なロボットを閉ループ制御する手法を提案。

• 拡散強制：次トークン予測と全系列拡散の融合
  生成モデル2024/7/1

  各トークンに独立なノイズレベルを与えて拡散モデルを訓練する新手法を提案し、次トークン予測と全系列拡散の長所を組み合わせて可変長生成や計画タスクで性能を向上させた。

• DittoGym：柔軟な形状変化ロボットの制御を学習する
  ソフトロボティクス2024/1/1

  生涯を通じて形態を変化させられる再構成可能なソフトロボットの制御を、強化学習で実現する手法とベンチマークを提案。

• ニューラル記述子場：操作のためのSE(3)同変物体表現
  マニピュレーション2021/12/1

  物体と把持器などの相対姿勢をカテゴリレベルの記述子で符号化し、自己教師あり学習で訓練して、少ない実演から新しい物体への6自由度操作を実現した研究。

• 視覚運動制御のための3Dニューラルシーン表現
  視覚運動制御2021/7/1

  NeRFと時間コントラスト学習を組み合わせ、2D画像から視点不変な3Dシーン表現を学習し、剛体や流体の操作タスクにおける視覚運動制御を実現した研究。