Luc Van Gool
INSAIT, Sofia University "St. Kliment Ohridski"
収録論文 60本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 非同期ロボットポリシーVLA2026/11/3
高レベルな意味推論を低頻度で非同期に実行し、軽量な視覚-行動エキスパートが高頻度で動作を生成するアーキテクチャを提案し、リアルタイム性と意味理解能力を両立させた。
- StateCraft: 抽象状態推論で動画世界モデルを拡張動画世界モデル2026/10/14
言語モデルと動画拡散モデルを組み合わせ、世界の抽象状態を追跡しながら視覚状態を生成する動画世界モデルを提案。長期一貫性と制御性を向上。
- LADDER: 長期的ロボットマニピュレーションベンチマークマニピュレーション2026/10/13
同じ環境内で1から10のサブゴールにスケールする長期的ロボットマニピュレーションベンチマークを提案し、低レベルポリシーとオーケストレーション手法を評価した。
- DexNinja: 実機からシミュレーションを経て実機へ戻すデータエンジンによる頑健な器用な切断ポリシーの学習マニピュレーション2026/10/12
実機の少数のデモからシミュレーションでデータを増強し、食品切断タスクを器用にこなすロボットポリシーを学習するreal2sim2realフレームワークを提案。
- 2D VLMを3Dプログラマに変えるタスク適応型グラウンディングVLA2026/10/1
2Dの視覚言語モデルに座標系の統一とタスク適応フィードバックを組み合わせ、再学習なしで3D理解・操作・生成を可能にするフレームワーク3D-Progを提案。
- φ-RIE: フォトリアリスティック再構成からインタラクティブ環境へsim2real2026/9/22
3Dガウススプラッティングで再構成したシーンから、選択した物体をシミュレータで動かせるアセットに変換し、背景も補完してインタラクティブ環境を構築するパイプラインを提案。
- LiDAR言語モデルは時空間関係を本当に理解しているのか?VLA2026/9/21
4D LiDAR言語モデルの時空間推論を診断するため、nuScenesを用いた1万問のベンチマークLiDAR-Halluを提案し、集計精度では隠れる失敗を明らかにした。
- CoRef-GS: マルチエージェント協調型参照3DガウシアンスプラッティングVLA2026/9/17
複数ロボットが各自構築した3Dガウシアンマップを統合し、言語クエリで対象物を特定する協調型シーン理解フレームワークを提案。
- 配向距離場によるイベントベースのモーション推定イベントカメラ/モーション推定2026/8/25
イベントカメラの動き推定を、反復最適化の代わりに事前計算した距離場の平均化で行う手法を提案し、低遅延かつ高精度を実現。さらに、ぼけ除去と瞳孔追跡への応用も示した。
- 共に見る:マルチモーダル大規模言語モデルによる多ロボット協調的自我中心空間推論群制御2026/5/18
複数の移動ロボットの同期した一人称視点ビデオを統合し、空間・時間・可視性・協調に関する質問に答える多ロボット協調動的空間推論の課題を研究。新ベンチマークCoopSRとデータセットEgoTeamを構築し、提案手法SP-CoRが既存MLLMを上回る性能を示した。
- ProOOD: プロトタイプ誘導による分布外3D占有予測3D占有予測2026/4/1
自動運転向けの3D占有予測において、長尾クラスバイアスと分布外入力への脆弱性を軽減する、プロトタイプ誘導の軽量プラグアンドプレイ手法を提案した。
- InterEdit: テキスト誘導による3D二人組動作編集動作生成2026/3/1
テキスト指示に従って二人の3D動作を編集する新タスクを提案し、専用データセットと拡散モデルベースの手法を構築した。
- AR-VLA: 視覚言語行動モデルのための真の自己回帰型アクションエキスパートVLA2026/3/1
観測ごとに時間的文脈をリセットする従来のVLAや拡散ポリシーと異なり、長期記憶で履歴を保持し連続的な因果系列として行動を生成する自己回帰型アクションエキスパートを提案。再アンカリング機構で非同期な視覚・言語・行動を同期させ、滑らかで文脈認識型の行動生成を実現した。
- 写真カメラにおける普遍的計算収差補正に向けて:包括的ベンチマーク分析計算収差補正2026/3/1
多様なレンズに汎用な計算収差補正のための大規模ベンチマークUniCACを構築し、24手法を比較評価して性能に影響する3要因を特定した。
- マルチエージェントロボットシステム(MARS)チャレンジの進歩と革新マルチエージェント2026/1/1
NeurIPS 2025ワークショップで開催されたMARSチャレンジを紹介し、VLMを用いたマルチエージェントの計画とロボットマニピュレーションの制御という2領域での取り組みを概説した論文。
- 微分可能シミュレーションを用いた探索による自動運転の経路計画経路計画2025/11/1
微分可能シミュレータWaymaxを次状態予測器と評価器として活用し、勾配降下と確率的探索を組み合わせて行動系列を最適化する経路計画手法DSSを提案した。
- SPEAR-1: 3D理解によるロボット実演を超えるスケーリングVLA2025/11/1
非ロボット画像に3D注釈を付与してVLMを強化し、3D認識と言語指示制御を統合したロボット基盤モデルSPEAR-1を提案。ロボット実演を20分の1に抑えつつ最先端性能を達成。
- RefAtomNet++: 意味検索に基づくマルチトラジェクトリMambaによる参照的原子ビデオ行動認識の高度化VLA2025/10/1
自然言語で指定された人物の細粒度行動を認識するタスク(RAVAR)に対し、部分キーワード・シーン属性・文全体の3階層で意味を揃えたクロスアテンションとマルチトラジェクトリMambaを組み合わせたRefAtomNet++を提案し、大規模データセットRefAVA++で評価した。
- ノイズラベル下のオープンセット領域汎化のための証拠信頼性対応残差フローメタ学習メタ学習2025/10/1
ノイズラベルを含むデータで未知カテゴリを新領域で認識するオープンセット領域汎化のため、証拠的信頼性と残差フローマッチングを組み合わせたメタ学習手法を提案し、最先端性能を達成した。
- DGFusion: 深度誘導型センサフュージョンによる堅牢な意味知覚センサフュージョン2025/9/1
LiDARの深度情報を活用し、シーン内の奥行きに応じてセンサ信頼度を動的に調整するマルチモーダル融合手法を提案。悪条件下でも高精度なセマンティック・パノプティックセグメンテーションを実現。
- 行動ラベルなしデータを活用した汎用ロボットマニピュレーションマニピュレーション2025/9/1
人間やロボットの行動動画から3D点群の動きを自己教師あり学習し、少数のラベル付きデータで行動予測器に調整することで、ラベルなしでも新しいタスクを学習できる汎用マニピュレーション手法を提案。
- RoHOI: 人物-物体インタラクション検出のためのロバスト性ベンチマーク人物-物体インタラクション検出2025/7/1
人物-物体インタラクション検出モデルのロバスト性を評価する初のベンチマークRoHOIを提案し、20種類の汚染条件下での性能低下を分析。ロバスト性向上のためのSAMPL戦略も提案。
- GaussianVLM: 言語対応ガウシアンスプラットによるシーン中心3D視覚言語モデルVLA2025/7/1
3Dガウシアンスプラットに言語特徴を直接埋め込み、物体検出器に依存せずに3Dシーン理解と身体性推論を行う視覚言語モデルを提案した。
- スキャンから行動へ:実世界スキャンを活用した身体性シーン理解シーン理解2025/7/1
実世界の3Dスキャンデータと注釈をUSDで統合し、LLMによるシーン編集とロボットシミュレーションでの政策学習に応用した研究。
- 解析的世界モデルによる効率的な車両ダイナミクスモデリングの実現自動運転2025/2/1
微分可能シミュレータを状態予測器と組み合わせることで、相対オドメトリ、最適プランナ、最適逆状態を学習する解析的世界モデル(AWM)を提案し、自動運転における意思決定を強化する。
- Articulate3D: 3Dシーンを汎用シーン記述として包括的に理解する3Dシーン理解2024/12/1
関節物体の高品質アノテーションを備えた3D屋内シーンデータセットArticulate3Dと、部位分割と運動属性を同時予測する統一フレームワークUSDNetを提案した論文。
- 微分可能シミュレータによる自動運転車両のエンドツーエンド制御自動運転2024/9/1
微分可能シミュレータと解析的方策勾配法を組み合わせ、Waymo大規模データセット上で自動運転車両の制御器を学習する手法を提案。
- ReVLA: ロボット基盤モデルの視覚的ドメイン制限を回復するVLA2024/9/1
既存のロボット基盤モデルが視覚的なドメイン外シーンに弱い問題を分析し、モデルマージによる段階的バックボーン復元で視覚汎化性能を回復させる手法を提案した。
- TrafficBots V1.5: 相対姿勢エンコーディングを用いた条件付きVAEとTransformerによる交通シミュレーション交通シミュレーション2024/6/1
CVAEベースのマルチエージェント方策と相対姿勢エンコーディング付きTransformerを組み合わせ、Waymo Open Sim Agents Challenge 2024で3位に入賞した交通エージェントの閉ループシミュレーション手法。
- GlORIE-SLAM: 大域最適化されたRGBのみの陰的エンコーディング点群SLAMSLAM2024/3/1
RGB画像のみを用いた高密度SLAMにおいて、ニューラル点群表現と単眼深度推定を組み合わせ、ループ閉じ込みとオンライン大域バンドル調整により高精度な追跡・マッピング・レンダリングを実現した。
- 画像点記述子のための残差学習特徴記述子2023/12/1
手作り記述子を活用し、その残差のみを学習することで、少ない計算量で高精度かつ高速収束する画像点記述子を実現した。
- 相対姿勢エンコーディングを用いた異種ポリラインTransformerによるリアルタイム動作予測動作予測2023/10/1
自動運転の動作予測をリアルタイム化するため、相対姿勢を扱う新注意機構KNARPEと階層型Transformer HPTRを提案し、エージェント中心手法と同等精度をシーン中心手法並みの効率で実現した。
- EgoSpot: 自己中心視点マルチモーダル制御によるハンズフリー移動マニピュレーションマニピュレーション2023/6/1
HoloLens 2の視線・頭部ジェスチャ・音声を統合し、Spotロボットの移動とアーム操作をハンズフリーで直感的に操作できるシステムを開発した。
- 移動する自車両からのイベントカメラを用いた動物体セグメンテーションセグメンテーション2023/5/1
イベントカメラを活用し、移動する自車両から動物体をセグメンテーションする大規模データセットDSEC-MOSと、イベントデータで学習するが推論時にはイベント入力を必要としないEmoFormerを提案した。
- 空間認識型Shapley値によるLiDARライン選択:低コスト深度補完深度補完2023/3/1
LiDARのライン数を削減しつつ深度補完精度を維持するため、Shapley値と空間配置を考慮したライン選択手法を提案。
- TrafficBots: 自動運転シミュレーションと運動予測のためのワールドモデルに向けてシミュレーション2023/3/1
交通シミュレーションをワールドモデルとして定式化し、目的地と潜在的な性格でエージェントの挙動を制御可能にしたマルチエージェント方策TrafficBotsを提案。Waymoデータセットで現実的な交通流と運動予測性能を実証した。
- 安全で効率的な強化学習のための乗算型価値関数安全強化学習2023/3/1
安全性クリティックと報酬クリティックを掛け合わせる新しい価値関数により、制約違反を抑えつつサンプル効率を高める安全強化学習手法を提案し、PPOとSACに統合してロボットナビゲーションを含む4環境で評価した。
- L2E: レーザーからイベントへ — LiDARとイベントカメラの6自由度外部キャリブレーションキャリブレーション2022/7/1
イベントカメラとLiDARの間で、フレームカメラを介さず直接的に6自由度の外部キャリブレーションを行う手法を提案した論文。
- P3Depth: 区分平面性事前分布を用いた単眼深度推定深度推定2022/4/1
各ピクセルが同一平面を共有する種ピクセルを予測し、その平面係数から深度を推定することで、遮蔽境界の鋭い高精度な単眼深度推定を実現した論文。
- 深層インタラクティブ運動予測と計画:運動予測モデルとゲームする計画・予測2022/4/1
ゲーム理論的MPCと対話型マルチエージェント方策を組み合わせ、予測と計画を密結合して自動運転のインタラクティブな挙動を生成する手法を提案。
- ZippyPoint: 混合精度離散化による高速な特徴点検出・記述・マッチング特徴点検出2022/3/1
ネットワーク量子化とバイナリ記述子の正規化層を導入し、計算資源が限られたロボットやARデバイス向けに、フル精度版より10倍以上高速で軽量な特徴点検出・記述・マッチング手法を実現した。
- LiDARビーム配置のエンドツーエンド最適化:3D物体検出と自己位置推定に向けてLiDAR知覚2022/1/1
強化学習ベースの学習最適化手法により、LiDARのビーム配置を対象タスクの性能に基づいてエンドツーエンドで自動最適化し、低解像度LiDARでも3D物体検出と自己位置推定の精度を大幅に向上させた。
- インスタンスセグメンテーションを用いたカメラ非依存の単眼3D物体検出3D物体検出2021/10/1
インスタンスセグメンテーションに基づき、カメラ内部パラメータに依存しない幾何推論で単眼3D物体検出を行う手法を提案し、異種データセットの活用を可能にした。
- Decoder Fusion RNN:文脈と相互作用を考慮した軌道予測デコーダ軌道予測2021/8/1
周辺交通エージェントの将来挙動を予測するため、リカレントな行動エンコーダとエージェント間マルチヘッド注意、地図情報を統合する文脈認識デコーダを組み合わせたDF-RNNを提案し、Argoverseで最先端性能を示した。
- 強化学習コーチの模倣による都市部エンドツーエンド自動運転自動運転/模倣学習2021/8/1
鳥瞰図画像から連続操作を出力する強化学習エキスパートを訓練し、それを教師として単眼カメラ入力のエンドツーエンド運転エージェントを模倣学習で訓練した研究。
- 学習可能なオンライングラフ表現による3D多物体追跡3D多物体追跡2021/4/1
検出と追跡状態をグラフ構造で統合し、ニューラルメッセージパッシングでデータ関連付けを学習する3D多物体追跡手法を提案し、nuScenesで最高性能を達成した。
- 車載カメラによる道路意味情報の鳥瞰図推定BEV認識2020/12/1
単一の車載カメラ映像から、道路の意味情報を鳥瞰図(BEV)としてオンライン推定する手法を提案し、画像理解・BEV理解・時間情報の統合の3要素を組み合わせて従来手法を大きく上回る性能を達成した。
- シミュレーションで学び、実車で走るsim2real2020/11/1
簡単な車両モデルとモデルランダム化を用いたシミュレーションのみで強化学習ポリシーを訓練し、実車のミニチュアレースカーに転移させた。ポリシー出力の正則化と持ち上げアクション空間により滑らかかつアグレッシブな走行を実現し、実環境データで微調整することでMPCに匹敵するラップタイムと50%の制約違反削減を達成した。
- セマンティックマップとアテンションによる高精度で人間らしい運転の学習自動運転/end-to-end学習2020/7/1
HEREのセマンティック・視覚マップをDrive360データセットに追加し、アテンション機構で重要なセマンティッククラスに注目させるとともに、敵対的学習で人間らしい運転行動を実現するend-to-end運転モデルを提案した。
- 地図と社会的文脈を用いた市街地車両の行動系列予測行動予測2020/4/1
HDマップを活用して走行データから行動系列を自動生成する手法を提案し、Argoverseに適用して大規模データセットを構築するとともに、位置・速度・地図・社会的文脈を統合した行動系列予測ネットワークを提案した。
- 過去を忘れるな:単眼動画からの再帰的深度推定深度推定2020/1/1
ConvLSTMを用いてフレーム間の時空間構造を活用し、単眼動画からリアルタイムに自己教師あり深度推定・補完を行う手法を提案した論文。
- Talk2Nav: 二重注意と空間記憶を用いた長距離視覚言語ナビゲーション視覚言語ナビゲーション2019/10/1
Googleストリートビュー上の音声案内ナビゲーション用データセットTalk2Navを構築し、言語指示をランドマーク照合と方向照合に分ける二重注意機構と空間記憶で自動経路案内を行う手法を提案した。
- 合成データのみで霧のシーンを意味理解するセマンティックセグメンテーション2019/10/1
霧の道路シーン向けに2.5万枚の純合成データセットFoggy Synscapesを作成し、実世界の霧画像でのセマンティックセグメンテーション性能を向上させた研究。
- Talk2Car:自然言語指示で自動運転車を操作するための物体参照データセット自動運転/物体参照2019/9/1
自動運転車の乗員が自然言語で対象物を指し示す指示を理解するための、初の物体参照データセット「Talk2Car」を構築し、最先端モデルで性能を評価した。
- カーブを走行する二輪車のためのカーブガーディアンの学習二輪車安全/知覚2019/7/1
CNNによる車線内位置とロール角の推定、地図データを活用した道路形状取得、傾斜を考慮した制御モデルを組み合わせ、カーブ走行時の二輪車事故を防ぐ警告システムを提案した。
- ロボット支援網膜手術におけるステレオ視のための手術器具ランドマーク自動検出医療ロボティクス2017/9/1
深層学習で高精細画像から手術器具のキーポイントをリアルタイム超で検出し、未校正のステレオ顕微鏡からメートル単位の3D再構成とロボット-カメラ位置合わせを一貫して行うパイプラインを初めて実現した。
- 自動運転向け高速シーン理解自動運転/セグメンテーション2017/8/1
ENetをベースに共有エンコーダとタスク別デコーダを持つ分岐アーキテクチャで、意味セグメンテーション・インスタンスセグメンテーション・単眼深度推定を同時にリアルタイム実行する手法を提案した。
- 識別的な損失関数による意味的インスタンスセグメンテーションセグメンテーション2017/8/1
ピクセルを特徴空間に写像し同一インスタンスを近づけ異なるインスタンスを引き離す識別的な損失関数を提案し、単純な後処理でクラスタリング可能にした。物体提案や再帰機構を使わずに競争力のある性能を達成した。
- 密度関数による低コストなシーン・モデリングでセグメンテーション性能を向上セグメンテーション2016/5/1
人間と物体の相互作用を密度関数でモデル化し、無料のシミュレータとCADモデルで合成RGB-Dデータを生成して学習することで、実世界の人間・物体セグメンテーション精度を約7%改善した。
- 高密度逆探索による高速オプティカルフローオプティカルフロー2016/3/1
パッチ対応の逆探索・多重スケールでの密な変位場生成・変分法による精緻化を組み合わせ、単一CPUコアで300〜600Hz動作する高精度かつ超高速な密オプティカルフロー手法を提案した。
