Vladlen Koltun
Apple
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- エージェント型マニピュレーション政策の研究マニピュレーション2026/11/6
汎用AIモデルがマニピュレータを直接制御するエージェント型政策を提案し、実演なしでVLAやWAMを上回る成功率を達成した。
- シミュレーションから獲得する知覚型ヒューマノイド動作sim2real2026/11/4
1000件の手続き生成された家庭環境で視覚・言語・動作データを合成し、実世界未経験のまま実環境で91%の成功率を達成したヒューマノイド自律システムHALOを提案。
- アテンション型接触計画によるヒューマノイド移動ヒューマノイド/歩行2026/10/22
運動データを学習事前分布として使い、自己教師ありアテンションで将来の身体-環境接触を予測し、接触条件付きトラッカーで全身運動へ変換する枠組みを提案。単一ポリシーで自然な協調運動と環境適応の柔軟性を両立させる。
- SPEAR: 写実的な具現化AI研究のためのシミュレータシミュレーション2026/7/1
Unreal EngineをPythonから制御できる高速・高機能な写実シミュレータを提案し、多様なエージェント制御やデータ生成を実現した。
- マルチモーダルモデルは電気羊を想像するのか?視覚推論2026/5/10
空間パズルを解く際に大規模マルチモーダルモデルが心的イメージを形成することを発見し、そのイメージを利用して推論性能を向上させる手法を提案した論文。
- 自己対戦から生まれる堅牢な自動運転自動運転2025/2/1
シミュレーション上で自己対戦を大規模に行うことで、人間のデータを使わずに堅牢で自然な自動運転ポリシーを獲得した研究。
- OpenBot-Fleet:実機ロボット群による集合学習システム群制御2024/5/1
スマホを活用した低コストロボット群とクラウドを組み合わせ、家庭環境でナビゲーション方策を集合学習し、未知の家でも80%以上の成功率を達成した。
- 自律ドローンレースの限界に挑む:最適制御と強化学習の比較飛行制御2023/10/1
ドローンレースを題材に強化学習と最適制御を比較し、強化学習が優位な理由を分析。12G超の加速度と108km/hを達成した。
- 単眼視覚慣性による深度推定深度推定2023/3/1
単眼深度推定と視覚慣性オドメトリを統合し、スパースなメトリック深度に合わせてグローバルおよび学習ベースの密なアライメントを行うことで、メトリックスケールを持つ密な深度推定を実現した論文。
- 軟体多体システムの微分可能シミュレーションsim2real2022/5/1
射影力学に基づくトップダウン行列組立と一般化乾性摩擦モデルを導入し、軟体多体システムの微分可能シミュレーションを実現した。これによりシステム同定を大幅に高速化し、軟体ロボットの運動制御の勾配ベース学習を可能にした。
- 野外環境で四足ロボットが頑健に知覚歩行を学習する手法歩行2022/1/1
固有感覚と外界知覚をアテンション付きリカレントエンコーダで統合し、雪や水、反射面など知覚が乱れる野外でも高速かつ頑健に歩行できる四足ロボット制御器を学習した。
- 高速自律飛行を実現するエンドツーエンド学習高速飛行2021/10/1
雑然とした環境を高速で飛ぶドローンのため、センサ入力から衝突回避軌道を直接生成する畳み込みネットワークをシミュレーションのみで学習し、実環境へゼロショット転移させた。
- ASH: 3D知覚のための並列空間ハッシュのモダンフレームワーク3D知覚2021/10/1
GPU上の並列空間ハッシュを高効率化し、PyTorch等と統合しやすいテンソルインターフェースを提供するASHを提案。点群ボクセル化や体積再構成など大規模3D知覚タスクで高性能を示した。
- 関節構造体の効率的な微分可能シミュレーション微分可能シミュレーション2021/9/1
空間代数と随伴法で関節構造体の前向きダイナミクスの勾配を導出し、自動微分より桁違いに高速かつ省メモリな微分可能シミュレーションを実現した。強化学習や制御・逆問題の最適化を大幅に加速できることを示した。
- Habitat 2.0:家庭用アシスタントロボットの訓練プラットフォームsim2real2021/6/1
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
- レール上の世界から運転を学ぶ自動運転/モデルベースRL2021/5/1
記録済み走行ログから、世界モデルと自車の前向きモデルを組み合わせて視覚ベースの運転方策を学習する手法を提案し、CARLAリーダーボードで首位を獲得した。
- 自己教師あり幾何認識幾何認識2021/3/1
正解の幾何モデルラベルなしで特徴記述子を学習する枠組みを提案し、ロバストモデルフィッティングと深層特徴学習を交互最適化で統合した。
- 再配置:身体性AIへの挑戦身体性AI2020/11/1
物体を指定された状態に並べ替える「再配置」タスクを身体性AI研究の共通ベンチマークとして提案し、4つのシミュレーション環境と評価指標を示した論文。
- 困難地形を歩行する四脚ロボットの学習制御歩行2020/10/1
強化学習で訓練したニューラルネットワーク制御器により、泥・雪・瓦礫・水などの未知の自然環境でもロバストに歩行できる四脚ロボットを実現した。
- OpenBot:スマートフォンをロボットに変える低コストプラットフォームロボットプラットフォーム2020/8/1
50ドルの小型電動車体とAndroidスマートフォンを組み合わせ、人追従や自律ナビゲーションを実現する低コストロボットシステムを開発した。
- 深層学習によるドローンのアクロバット飛行飛行制御2020/6/1
最適制御器のデモを用いてシミュレーションのみで訓練した方策により、機載センサと計算だけで実機のクアッドロータが高加速度のアクロバット飛行を実現した。
- チートによる学習:特権情報を用いた二段階訓練で視覚ベース自動運転を実現自動運転2019/12/1
まず環境の真のレイアウトや交通参加者の位置を見られる「チート」エージェントを訓練し、それを教師として純粋に視覚のみで運転するエージェントを学習させる二段階手法を提案。CARLAベンチマークで初めて全タスク100%成功を達成した。
- 深層ドローンレーシング:ドメインランダム化によるシミュレーションから現実への転移sim2real2019/5/1
CNNによる知覚と計画・制御を組み合わせ、ドメインランダム化でシミュレーション訓練したシステムを実機ドローンにファインチューニングなしで展開し、動的環境での高速自律レースを実現した。
- コンピュータビジョンは行動に役立つのか?sim2real2019/5/1
没入型3Dシミュレーションで、中間表現を介した視覚モデルとピクセルから直接行動を学習するモデルを比較し、視覚の中間表現が学習速度・性能・未知環境への汎化を向上させることを示した。
- Habitat:身体性AI研究のための高速フォトリアル3Dシミュレーション基盤sim2real2019/4/1
フォトリアルな3D環境で身体性エージェントを高速に訓練・評価できるシミュレータHabitat-SimとAPIライブラリHabitat-APIを開発し、学習vsSLAMの再検証やクロスデータセット汎化実験を行った。
- 脚式ロボットの俊敏で動的な運動スキルを学習するsim2real2019/1/1
シミュレーションで訓練したニューラルネットワーク方策を実機の四足ロボットANYmalに転送し、高速走行や転倒からの復帰を含む俊敏な運動を実現した。
- 複雑な3D環境における古典的ナビゲーションと学習型ナビゲーションのベンチマーク比較ナビゲーション2019/1/1
古典的手法と学習ベースのナビゲーションを同一の屋内3D環境で比較評価し、人間の性能とも照らし合わせた。古典手法は複雑な環境で高性能、学習手法は限られたセンサでも頑健だが、両者とも人間には及ばないことを示した。
- 美女と野獣:最適手法と学習の融合によるドローンレースドローンレース2018/10/1
単一のデモ飛行から粗いゲート配置を推定し、CNNによるゲート姿勢予測と拡張カルマンフィルタ、モデル予測制御を組み合わせて、未見のコースを高速かつ俊敏に自律飛行する手法を提案した。
- 身体性ナビゲーションエージェントの評価に関する合意形成ナビゲーション2018/7/1
3次元環境で移動するAIエージェントの研究が乱立する中、作業部会が問題設定・汎化の役割・評価指標・標準ベンチマークシナリオについて合意した推奨事項をまとめた論文。
- 深層学習によるドローンレース:動的環境での俊敏な飛行の学習ドローン自律飛行2018/6/1
CNNでカメラ画像からウェイポイントと速度を直接推定し、経路計画・制御と組み合わせて動くゲートのあるドローンレースコースを機上のみで自律飛行する手法を提案した論文。
- モジュール化と抽象化による運転ポリシーの転移sim2real2018/4/1
シミュレーションで学習した運転ポリシーを、生の知覚入力や低レベル車両動力学に直接触れさせないモジュール構造で包み込み、実世界の1/5スケールロボットトラックへファインチューニングなしで転移させた。
- 半パラメトリック位相メモリによるナビゲーションナビゲーション2018/3/1
動物のランドマークナビゲーションに着想を得て、グラフと深層ネットワークを組み合わせた半パラメトリック位相メモリを提案し、未知の迷路でも5分の映像から地図を構築して目標へ誘導できるナビゲーション手法を実現した。
- Open3D:3Dデータ処理のための現代的なライブラリ3Dデータ処理2018/1/1
C++とPythonで使える3Dデータ処理のオープンソースライブラリOpen3Dを開発し、その設計と特徴を紹介した論文。
- 複雑な屋内環境でのナビゲーションのためのマルチモーダルシミュレータMINOSナビゲーション2017/12/1
複雑な3D屋内環境でマルチモーダルな目標指向ナビゲーションを研究するためのオープンソースシミュレータMINOSを開発し、深層強化学習の限界とマルチモーダル性の有効性を示した。
- CARLA: オープンな都市自動運転シミュレータ自動運転シミュレーション2017/11/1
自動運転研究向けのオープンソース都市走行シミュレータCARLAを公開し、モジュール型・模倣学習・強化学習の3手法を比較評価した。
- 条件付き模倣学習によるエンドツーエンド運転自動運転/模倣学習2017/10/1
高レベルなナビゲーション指令を条件として模倣学習を行い、視覚入力から運転しつつ交差点での進路指定など指令に応答できる運転ポリシーを実現した。
