Carl Vondrick
収録論文 17本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 細部にこだわるロボット批評家操作2026/6/1
ロボット操作の成功と失敗を細かく見分ける批評家を、成功・失敗ロールアウトからペアの進捗監視で微調整し、候補行動の選択精度を向上させた。
- マルチモーダルモデルは電気羊を想像するのか?視覚推論2026/5/10
空間パズルを解く際に大規模マルチモーダルモデルが心的イメージを形成することを発見し、そのイメージを利用して推論性能を向上させる手法を提案した論文。
- 動画生成器はロボットポリシーであるVLA2025/8/1
動画生成をロボットポリシー学習の代理として用いる「Video Policy」を提案し、少ない実演データで未知の物体・背景・タスクへの汎化性能とサンプル効率を大幅に向上させた。
- 自己改善型の自律水中マニピュレーション水中マニピュレーション2024/10/1
人間のデモからの行動クローニングと自己学習最適化を組み合わせ、水中で物体把持・ゴミ分別・救助回収を自律遂行し、人間の遠隔操作より41%高速化したシステムAquaBotを開発した。
- 微分可能ロボットレンダリングsim2real2024/10/1
ロボットの見た目を制御パラメータで微分可能に描画する手法を提案し、画像からの姿勢復元や視覚言語モデルによる制御に応用した。
- Dreamitate: 動画生成による実世界視覚運動ポリシー学習VLA2024/6/1
動画拡散モデルを人間の実演で微調整し、新しい場面の画像から生成した実行動画でロボットを直接制御することで、既存の行動クローニングより高い汎化性能を実現した。
- 生成的カメラドリー:単眼動的シーンの極端な新規視点合成新規視点合成2024/5/1
単一視点の動画から任意のカメラ視点の同期動画を生成する拡散モデルベースの手法を提案し、ロボティクスや運転環境などでのゼロショット汎化を示した。
- PaperBot:紙で実世界の道具を設計する学習マニピュレーション2024/3/1
紙を折る・切る・投げる動作を自己教師あり学習で最適化し、紙飛行機や紙グリッパーを実機ロボットで設計・使用する手法を提案。
- SHIFT3D: 3D検出器を欺く困難な入力の合成3D検出/敵対的攻撃2023/9/1
署名距離関数で物体形状を表現し、勾配信号を用いて3D物体検出器を混乱させる構造的に妥当な3D形状を生成する微分可能パイプラインを提案。
- 遮蔽物や容器を越えた追跡:TCOWベンチマークとモデル物体追跡2023/5/1
重い遮蔽や容器内包がある動画で対象物体とその容器/遮蔽物を同時にセグメンテーションする新タスクTCOWを提案し、合成・実データ混合のベンチマークを構築して既存Transformer動画モデルを評価した。
- Zero-1-to-3: 単一画像からゼロショットで3Dオブジェクトを生成3D生成2023/3/1
1枚のRGB画像からカメラ視点を変えた新規視点画像を生成し、単一画像からの3D再構成も可能にする拡散モデルベースのフレームワークを提案。
- FLEX: 全身 grasping を全身 grasp データなしで実現マニピュレーション2022/11/1
全身姿勢と手の把持の事前知識を3D幾何制約で組み合わせ、3D全身把持データなしで多様な全身把持動作を生成する手法を提案。
- ロボット形態の全身視覚的自己モデリング自己モデリング2021/11/1
ロボットが自身の形状を空間占有クエリで学習する視覚的自己モデルを提案し、運動計画や損傷検出・復帰を実現した。
- 音響振動から内部の様子を可視化するスマートコンテナ「Boombox」音響センシング2021/5/1
箱と中身の衝突で生じる振動を接触マイクで取得し、畳み込みネットワークで箱内部の視覚シーンを再構成する手法を提案した。
- 類推推論による視覚接地言語獲得VLA2020/7/1
動画と字幕から未知の動詞・名詞の組み合わせを類推で認識するマルチモーダルトランスフォーマーARTNetを提案した論文。
- 視覚的かくれんぼ:身体性エージェントによる追跡回避行動の学習強化学習2019/10/1
獲物と捕食者のエージェントが一人称視点の部分観測下でかくれんぼを学習し、獲物は障害物を利用して自分の可視性を予測しながら逃げる方策を獲得する。
- 動画のカラー化によって創発する物体追跡自己教師あり学習/物体追跡2018/6/1
ラベルなし動画の時間的一貫性を利用し、グレースケール動画を参照フレームの色で彩色する学習を通じて、人手の教師なしで視覚的追跡モデルを獲得した研究。
