Valts Blukis
NVIDIA
収録論文 26本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- PROBE: VLMエージェントによる操作基盤の視覚質問応答VQA/操作計画2026/8/17
ロボットが隠れた物体を探すために操作が必要な動的シーンでの視覚質問応答(MG-VQA)を提案し、シミュレータとベンチマークを構築、VLMエージェントの性能を評価・微調整する手法を示した。
- VoLo: オープン語彙の長期的操作のための物理オーケストレータ操作/VLA2026/6/1
VLMがロボットの多様な能力を中断可能なツールとして統合し、長期的な操作タスクを計画・実行・監視・回復するエージェントループを提案。高忠実度ベンチマークRoboVoLoで評価し、既存手法を上回る性能を実証。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- SpaceTools: 二重対話型強化学習によるツール拡張空間推論VLA2025/12/1
VLMが複数の視覚ツールを強化学習で協調利用できるよう訓練する二段階フレームワークDIRLを提案し、空間推論ベンチマークで最高性能と実機マニピュレーションを実現した。
- BOP-ASK:視覚言語モデルのための物体インタラクション推論VLA2025/11/1
6D物体姿勢データを活用し、把持姿勢や経路計画などの細かい空間推論を問う15万枚・3300万QAペアの大規模データセットBOP-ASKを構築し、VLMの物体インタラクション理解を評価・訓練する。
- VLA-0: ゼロ改変で最先端のVLAを構築するVLA2025/10/1
ロボット操作のための視覚-言語-行動モデルにおいて、行動をテキストとして直接表現する最も単純な戦略を検証し、複雑な手法を上回る性能を達成した。
- OG-VLA: 正投影画像生成による3D認識型視覚言語行動モデルVLA2025/6/1
多視点RGBD観測を正投影画像に変換し、LLMと拡散モデルでエンドエフェクタの次位置・姿勢を生成する3D認識型VLAを提案。未見環境への汎化性能を大幅に向上。
- RoboSpatial:ロボティクスのための2D・3D視覚言語モデルに空間理解を教えるVLA2024/11/1
ロボティクス向けの大規模空間理解データセットRoboSpatialを構築し、2D・3Dの視覚言語モデルに空間推論を学習させることで、空間アフォーダンス予測やロボット操作などのタスク性能を向上させた。
- 実世界画像からロボットシミュレーションタスクを生成するGRSsim2real2024/10/1
単一のRGB-D画像からデジタルツインシミュレーションを構築し、仮想エージェント訓練用のタスクを自動生成するシステムを提案。
- 3D-MVP: ロボットマニピュレーションのための3Dマルチビュー事前学習マニピュレーション2024/6/1
マスク付きオートエンコーダを用いて大規模3Dデータセットで視覚エンコーダを事前学習し、ロボットマニピュレーションの汎化性能を向上させる手法を提案した。
- RoboPoint: ロボティクス向け空間アフォーダンス予測の視覚言語モデルVLA2024/6/1
合成データで視覚言語モデルをロボット向けに微調整し、言語指示から画像内のキーポイントアフォーダンスを予測するRoboPointを開発。実世界データ不要でスケーラブルに学習でき、ナビゲーションや操作などのタスクで既存手法を上回る。
- RVT-2: 少数のデモンストレーションから精密なマニピュレーションを学習マニピュレーション2024/6/1
言語指示に基づく多タスク3Dマニピュレーションにおいて、アーキテクチャとシステムの改善により学習を6倍、推論を2倍高速化し、RLBenchで成功率82%を達成、実世界でも10回のデモで高精度タスクを学習可能にした。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- タッチで拓く3Dガウシアンスプラッティング:光沢面を高精度に再構成触覚2024/3/1
触覚の局所深度マップと多視点画像を組み合わせ、光沢・反射面でも少ない画像枚数で高精度に3D再構成する手法を提案。
- cuRobo: 並列化された衝突回避・最小ジャークロボット動作生成マニピュレーション2023/10/1
衝突回避動作生成を大域的最適化問題として定式化し、GPU上で並列に解くことで平均50msで解を得るライブラリcuRoboを開発した。
- Diff-DOPE: 微分可能な深層物体姿勢推定姿勢推定2023/10/1
微分可能レンダリングを用いて、画像と3Dモデルから物体の6DoF姿勢を学習なしで最適化する手法を提案し、姿勢推定データセットで最先端の結果を達成した。
- RVT: 3D物体操作のためのロボットビュー変換器マニピュレーション2023/6/1
複数視点のカメラ画像をTransformerで統合し、仮想視点からの再描画により、スケーラブルかつ高精度な3D操作を実現する手法を提案。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- ワンショットニューラルフィールドによる3D物体理解把持2022/10/1
単一のRGB画像からNeRFベースの潜在表現を構築し、新規視点レンダリングや3D再構成、把持予測を可能にするロボット向け表現を提案。
- ProgPrompt: 大規模言語モデルを用いた状況依存ロボットタスクプランの生成タスクプランニング2022/9/1
環境内の利用可能な行動と物体をプログラム風に記述し、実行可能な例示プログラムと共にLLMへ入力することで、状況に応じたロボットのタスクプランを生成する手法を提案。
- 自然言語フィードバックによるロボット計画の修正言語指示2022/4/1
自然言語の文をコスト関数の変換に対応付け、目標の修正や制約追加、計画誤りの回復を可能にする手法を提案した論文。
- 長期言語指示実行のための持続的空間意味表現言語指示・タスク計画2021/7/1
ロボットが高レベルな自然言語指示を長期的に実行できるよう、環境の空間的・意味的情報を持続的に保持する表現手法を提案し、ALFREDベンチマークで最高性能を達成した。
- 少数例から物体を接地・地図化する自然言語ロボット指示追従指示追従2020/11/1
拡張現実データから学習した少数例ベースの物体接地手法と、物体の位置と指示された用途を符号化する学習地図表現を提案し、実機クアッドコプターの連続制御に統合して未知物体にも対応できることを示した。
- 自然言語指示から実機クアッドコプターの連続制御へ:シミュレーション飛行を用いた学習言語指示ナビゲーション2019/10/1
シミュレーションと実環境を組み合わせ、自然言語のナビゲーション指示と一人称視点の観測からクアッドコプターの連続制御を学習する枠組みを提案し、実機で指示追従と探索行動を実証した。
- 位置訪問予測によるナビゲーション指示から連続制御動作への変換ナビゲーション2018/11/1
自然言語の指示と生の観測からドローンの連続制御を学習する手法を提案し、訪問位置分布を予測して行動選択に用いることで既存手法より16.85%高いタスク完了精度を実現した。
- 模倣学習によるシミュレーション四輪ドローンの高レベルナビゲーション指示追従ナビゲーション2018/6/1
画像・指示・姿勢推定から低レベル速度指令を直接出力するGSMNを提案し、ピンホールカメラモデルを組み込んだ明示的セマンティックマップ構築により、四輪ドローンのシミュレータ上で強いベースラインを上回り専門家方策に迫る性能を示した。
