Deva Ramanan
Carnegie Mellon University
収録論文 40本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- AevaScenes: 長距離知覚のためのFMCW LiDARデータセットとベンチマークLiDARデータセット2026/9/27
FMCW LiDARのドップラー速度情報を含む大規模データセットを構築し、3D物体検出・シーンフロー推定・セマンティックセグメンテーションのベンチマークを提案。ドップラー情報が遠距離の検出精度を最大2倍改善することを示した。
- MimicAgent: プロンプトから軌道生成による四足歩行スキルの獲得歩行2026/9/21
スキルを表すプロンプトからコーディングエージェントで四足ロボットの参照軌道を生成し、それを用いた模倣強化学習で実機展開可能な動的スキルを学習するフレームワークを提案。
- PointZero: 転移可能な3Dダイナミクス学習のための3D点追跡補完3Dダイナミクス/事前学習2026/9/16
ロボットの行動ラベルなしで、RGB-D観測と部分的な3D軌跡から全点の未来軌跡を予測する事前学習手法を提案し、下流のダイナミクス予測や模倣学習で有効性を示した。
- モダリティ自己回帰型ワールドアクションモデルVLA2026/9/15
将来の観測と行動を複数の視覚モダリティ（点追跡・DINO特徴・深度）で自己回帰的に予測するModARを提案し、RGB予測より効率的で成功率も高いことを示した。
- モデルはすでに知っている：教えずに問い方を学ぶ、視覚言語モデルの少数ショット適応のためのソフトプロンプティングVLA2026/9/10
視覚言語モデルの少数ショット物体検出において、バックボーンを凍結したまま少数の連続プロンプトトークンを最適化するソフトプロンプティングを検討し、プロンプト配置と初期化の設計選択を明らかにした。LoRAと同等精度を2万倍少ないパラメータで達成し、破滅的忘却も回避できることを示した。
- 視覚運動ポリシーの短期記憶を拡張し長期的タスクを実現模倣学習2026/6/1
本論文は、模倣学習による視覚運動ポリシーに短期記憶を効果的に組み込むためのアーキテクチャPRISMを提案し、新しいベンチマークReMemBenchで評価した。
- CRISP: 平面プリミティブを用いた単眼動画からの接触誘導型Real2Simsim2real2025/12/1
単眼動画から人間とシーンの接触を手がかりに平面プリミティブでシーン形状を復元し、物理的に妥当な人間動作とシミュレーション可能な環境を生成する手法。
- Any4D: 統合フィードフォワード計量4D再構成4D再構成2025/12/1
多視点トランスフォーマーにより、Nフレームのピクセル単位の動きと形状を直接予測する4D再構成手法を提案。RGB-DやIMU、レーダーなど追加センサーも利用可能で、高精度かつ高速。
- 少数デモンストレーションによる視覚-言語-行動モデルのメカニズム的解釈に基づくファインチューニングVLA2025/11/1
少数の実演からタスク固有のアテンションヘッドを特定し選択的にファインチューニングするRobotic Steeringを提案し、LoRAを上回る性能とロバスト性、計算コスト削減、解釈性向上を実機で示した。
- MapAnything: 汎用フィードフォワード計量3D再構成3D再構成2025/9/1
複数画像と任意の幾何情報から、カメラ姿勢や深度を含む計量的な3Dシーンを単一のフィードフォワードで推定する統一Transformerモデルを提案。
- HDMI: 人間の動画から対話型ヒューマノイド全身制御を学習全身操作2025/9/1
単眼RGB動画から人間と物体の軌道を抽出・再ターゲットし、強化学習でヒューマノイドの全身物体操作スキルを学習、実機にゼロショット展開するフレームワーク。
- プロンプトから製品へ：双腕マニピュレーションによる生成的組み立てマニピュレーション2025/8/1
自然言語プロンプトからLEGOブロックの組み立て設計を生成し、双腕ロボットで実世界の製品を自動構築するパイプラインを提案した。
- UFM: フローとマッチングを統合するシンプルな密対応モデル密対応2025/6/1
広基線マッチングとオプティカルフローを単一のTransformerで統合学習し、両タスクで専門手法を上回る精度と速度を実現した。
- InstructPart: 指示に基づくタスク指向型パーツセグメンテーションパーツセグメンテーション2025/5/1
物体を構成する部品ごとに分割し、指示されたタスクに応じて適切な部品を切り出すベンチマークInstructPartを提案し、既存の視覚言語モデルでも難しいことを示した上で、データセットでの微調整により性能を倍増させるベースラインを提示した。
- RefAV：計画中心のシナリオマイニングに向けてシナリオマイニング2025/5/1
自動運転の走行ログから自然言語で記述された安全上重要なシナリオを検出・時空間的に特定する大規模データセットRefAVを構築し、視覚言語モデルを用いた手法の課題を分析した。
- BETTYデータセット：完全自律走行のためのマルチモーダルデータセット自律走行データセット2025/5/1
自律レーシングカーで4年間にわたり収集された32TB超のマルチモーダルデータセットを公開し、知覚・状態推定・動力学モデリング・運動予測など完全自律スタックの学習と評価を可能にした。
- 自律レース車両のための高速でモジュール式な自律走行ソフトウェア自律走行2024/8/1
Indy Autonomous Challenge 向けに、エージェント検出・運動計画・制御をモジュール化した高速な自律走行スタックを開発し、単一・複数エージェント環境での性能を評価した。
- 棚監督付きクロスモーダル事前学習による3D物体検出3D物体検出2024/6/1
RGB画像とLiDARのペアデータから、画像基盤モデルを活用してゼロショットで3Dバウンディングボックスを生成し、それを疑似ラベルとして3D検出器を事前学習する手法を提案。
- 適応的世界モデルによる自動運転の計画自動運転計画2024/6/1
都市環境での自動運転計画のため、エージェントの反応行動を予測するBehaviorNetと、それに基づくMPCプランナーAdaptiveDriverを提案し、nuPlanベンチマークで最先端性能を達成した。
- SAL：LiDAR内のあらゆる物体をセグメントする学習への道LiDARセグメンテーション2024/3/1
2D視覚基盤モデルを活用してLiDARの3D疑似ラベルを自動生成し、手動監督なしで任意のクラスをゼロショットでセグメント・分類できるSALモデルを提案した。
- SplaTAM: 3Dガウシアンによる高密度RGB-D SLAMのスプラット・追跡・マッピングSLAM2023/12/1
3Dガウシアンを用いた明示的なボリューム表現により、単一の未姿勢RGB-Dカメラから高精度な追跡とマッピングを実現するSLAM手法を提案。
- DeformGS: 高変形シーンにおけるシーンフローと変形物体操作変形物体操作2023/12/1
複数カメラの動画からガウシアンスプラッティングと変形関数を学習し、布などの高変形物体の密な3D追跡（シーンフロー）を実現する手法を提案。
- マルチモーダル融合によるロングテール3D検出3D検出2023/12/1
自動運転向けに、稀なクラスも含めて評価するロングテール3D検出問題を定式化し、階層的損失とLiDAR・RGB検出器の後期融合で稀クラスの精度を改善する手法を提案した。
- 特別な仕掛けなしのLiDARパノプティックセグメンテーションと追跡LiDAR認識2023/10/1
LiDAR点群のパノプティックセグメンテーションと追跡を、検出中心のシンプルなモジュール型ネットワークで高精度に実現した研究。
- 3D物体検出における距離範囲の実証的分析3D物体検出2023/8/1
LiDARによる3D検出は近距離に偏っているため、Argoverse 2.0を用いて遠距離検出を分析し、近距離と遠距離で適したボクセルサイズが異なることを示した上で、距離別の専門家モデルを効率的にアンサンブルする手法を提案した。
- 軌道予測における連携指標の重要性：より良い評価基準の提案軌道予測2023/5/1
複数エージェントの軌道予測において、従来の単一エージェント指標ではなく連携指標（JADE, JFDE, 衝突率）で評価することの重要性を示し、連携指標を組み込んだ損失関数を提案して性能を改善した。
- SLoMo: 日常動画から脚式ロボットへの運動模倣フレームワーク運動模倣2023/4/1
YouTubeなどの日常的な単眼動画から、人間や動物の運動を脚式ロボットに転移する3段階のフレームワークを提案し、四足ロボットの実機とヒューマノイドのシミュレーションで実証した。
- Argoverse 2: 自動運転の知覚と予測のための次世代データセット自動運転データセット2023/1/1
自動運転研究向けに、知覚・予測・自己教師あり学習を支援する3種類の大規模データセット(センサ、LiDAR、動き予測)を公開した。
- Far3Det: 遠方3D物体検出に向けて3D物体検出2022/11/1
50m以遠の物体を対象とした遠方3D検出タスクを定義し、nuScenesから遠方注釈付き検証セットを構築して評価プロトコルを提案した。
- ロングテール3D物体検出への挑戦3D物体検出2022/11/1
自動運転車の3D検出において、稀なクラスも含めたロングテール問題を定式化し、階層的損失と評価指標、LiDARとRGBのマルチモーダル融合で精度を改善した研究。
- 自己教師あり占有予測のための微分可能レイキャスティング自動運転/占有予測2022/10/1
微分可能レイキャスティングで将来のLiDARスイープを予測し、自己教師あり学習により占有マップを内部表現として獲得する手法を提案。
- 限界走行のためのロバストモデリングと制御自動運転レース/制御2022/5/1
時速140マイルまで安全に走行できる自動レース車両の制御スタックを提案し、限界走行における動力学モデリングと学習の課題を議論した。
- 未来の物体検出によるLiDARからの予測物体検出・予測2022/3/1
生のLiDARセンサデータから将来の物体位置を直接予測し、そこから現在位置を逆算する検出・予測の統合手法を提案し、複数未来の推論や新しい評価指標も導入した。
- アフォーダンスマップを用いた移動学習ナビゲーション2020/1/1
シーン内の移動可能領域を示すアフォーダンスマップを自己教師あり経験から学習し、従来の幾何学的プランナと組み合わせて探索・ナビゲーション性能を向上させた研究。
- 見えるものが手に入る：可視性を活用した3D物体検出3D物体検出2019/12/1
LiDARの2.5Dデータからレイキャスティングで可視性マップを復元し、ボクセルベース3D検出器の追加入力として組み込むことで検出精度を向上させた研究。
- 単眼画像からの深度分布推定深度推定2019/12/1
深度回帰を離散的な二値分類として再定式化し、各ピクセルの深度分布を多峰的に推定することで、不確実性を高速かつ高精度に捉える手法を提案した。
- LiDAR点群の最適セグメンテーションを学習する点群セグメンテーション2019/12/1
グラフ探索とデータ駆動学習を組み合わせ、物体らしさスコアに基づいてLiDAR点群を最適にインスタンス分割する手法を提案し、KITTIで従来法を上回る性能を示した。
- 高解像度画像に対する階層的ディープステレオマッチングステレオマッチング2019/12/1
粗から細への階層で対応点を段階的に探索するステレオマッチング手法を提案し、高解像度データセットも導入。Middlebury-v3とKITTI-15でSOTAかつ高速、低遅延で近距離の視差予測が可能。
- Argoverse：高精度地図を備えた自動運転向け3D追跡・軌道予測データセット自動運転データセット2019/11/1
ピッツバーグとマイアミで収集した自動運転データセットArgoverseを公開し、290kmのHDマップ情報が3D物体追跡と軌道予測の精度を向上させることを示した。
- PixelNet：ピクセルによる、ピクセルのためのピクセル表現セグメンテーション2017/2/1
ピクセルの層化サンプリングにより、多様なピクセル単位予測タスク（エッジ検出・法線推定・セマンティックセグメンテーション）を単一アーキテクチャで高精度かつ効率的に学習できることを示した論文。
