Jamie Shotton
収録論文 8本 ・ フィジカルAI/ロボット学習
ワールドモデル新規視点合成自動運転VLAVLA世界モデル自動運転
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- GAIA-2: 自動運転のための制御可能なマルチビュー生成ワールドモデルワールドモデル2025/3/1
自動運転向けに、自車挙動やエージェント配置、環境要因、道路意味論などの構造化入力で制御可能な、マルチカメラで時空間的に一貫した高解像度動画を生成する潜在拡散ワールドモデルを提案。
- WayveScenes101: 自動運転における新規視点合成のためのデータセットとベンチマーク新規視点合成2024/7/1
動的な要素や厳しい環境条件を含む101の実走行シーンを集め、訓練視点から外れた視点での新規視点合成性能を評価するデータセットとベンチマークを提案した。
- CarLLaVA:カメラのみの閉ループ自動運転のための視覚言語モデル自動運転VLA2024/6/1
LLaVAの視覚エンコーダとLLaMAをバックボーンに用い、カメラ入力のみでCARLA自動運転チャレンジ2.0のセンサートラックで1位を獲得した視覚言語モデルを提案。
- LangProp: 大規模言語モデルによるコード最適化フレームワークの自動運転への応用VLA2024/1/1
LLMが生成したコードをデータと指標に基づいて反復的に評価・改善するフレームワークを提案し、自動運転を含む複数タスクで有効性を示した。
- LingoQA: 自動運転のための視覚的質問応答VLA2023/12/1
自動運転向けの視覚的質問応答データセットとベンチマークを構築し、既存の視覚言語モデルが人間に及ばないことを示した。
- LLMによる運転:説明可能な自動運転のための物体レベルベクトルモダリティの融合VLA2023/10/1
物体レベルのベクトル数値データを事前学習済みLLMに統合し、運転状況の理解・質問応答・行動生成を行うマルチモーダル運転モデルを提案。10kシナリオからなる16万QAペアのデータセットも構築した。
- GAIA-1: 自動運転のための生成的世界モデル世界モデル2023/9/1
映像・テキスト・行動を入力に、自車の挙動やシーンを細かく制御しながらリアルな走行シーンを生成する世界モデルを提案。
- 都市運転のためのモデルベース模倣学習自動運転2022/10/1
専門家の運転動画から世界モデルと運転方策を同時に学習し、未知の街や天候でも高精度に運転できるカメラのみの手法を提案。
