Qi Wu
Cornell University
収録論文 52本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 推論より構造:小型視覚言語モデルによる統合ゼロショットナビゲーションVLA2026/10/18
小型VLMの方向判断・停止判断を行動ではなく証拠として扱い、鳥瞰マップ上の意味場とスケルトングラフで経路を構築するゼロショット視覚言語ナビゲーション手法を提案し、四足歩行ロボットで実機検証した。
- KinoGen: 運動学的に接地した動画生成によるカスタマイズ可能なヒューマノイド移動操作リファレンス移動操作2026/10/14
ロボットと物体のシミュレーション画像を条件に動画生成モデルで2視点動画を作り、それにモデルをフィットさせてヒューマノイドの移動操作リファレンスを合成するフレームワーク。キーフレーム編集で目標姿勢を指定でき、Unitree G1で追従方策を実機展開した。
- NavGPT-3:階層型ナビゲーションランタイムにおける文脈活用ナビゲーション2026/10/7
言語モデルによる推論と行動ポリシーをOSライクなランタイムで統合し、R2R-CEとRxR-CEで最先端性能を達成、RxR-CEでは人間レベルのナビゲーションを実現した。
- NavHarness: 生涯身体性ナビゲーションに向けてナビゲーション2026/9/28
記憶処理をナビゲーションループに組み込み、地図や過去の探索記録を観測と照合しながら訂正・蓄積する訓練不要の身体性ナビゲーション手法を提案。GOAT-Benchなどで大幅な性能向上を達成。
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション2026/9/23
ナビゲーションエージェントの迷走を検知したら対話で修正指示を求める仕組みを提案し、シミュレータと実機で成功率と頑健性を向上させた。
- GPT-6-Astraによる連続環境でのゼロショット視覚言語ナビゲーションの行動分析ナビゲーション2026/9/17
GPT-6-Astraをゼロショットの視覚言語ナビゲーションに適用し、指示理解と行動提案の挙動を分析した。成功率52%だが、局所判断と自律完遂の間にギャップがあることを示した。
- 基盤モデルを物理世界エージェントに組み込むことで長期的ナビゲーションの限界を押し広げるナビゲーション2026/8/31
VLMによる推論エージェントとナビゲーション基盤モデルを組み合わせたフレームワークNavMCPを提案し、長期的な探索タスクで高い性能を達成した。
- 身体化シーン再配置計画タスク計画2026/8/27
エージェントが自己中心視覚とトップダウン目標レイアウトのみを用いて3Dシーン内の家具を目標配置に再配置する新しいタスクを提案し、ベンチマークとベースライン手法を提供した。
- 領域到達からインスタンスレベルの接地へ:視覚と言語によるナビゲーションの改善VLA2026/7/1
VLNエージェントの最終位置の精度と対象物の可視性を評価する指標を導入し、最終段階のナビゲーションを改善するモジュールREALMを提案した。
- HyperDCM: 双曲空間における動的クラスタメモリリプレイによる継続的ロボットナビゲーションナビゲーション2026/7/1
視覚ナビゲーションの継続学習における破滅的忘却を防ぐため、シーングラフと双曲空間のメモリリプレイを組み合わせた手法を提案した。
- 具現化エージェントが制御を握る:視覚言語ナビゲーションにおける最小インターフェースのゼロショットエージェントが産業規模ポリシーに匹敵ナビゲーション2026/7/1
汎用エージェントが単眼RGBカメラと離散行動のみでゼロショットナビゲーションを実行し、訓練済みポリシーなしで高い成功率を達成できることを示した。
- 報酬が見合うときだけ質問する:コストを考慮したオープンエンド対話によるインスタンス目標ナビゲーションナビゲーション2026/6/2
インスタンス目標ナビゲーションにおいて、曖昧な指示を解決するためのオラクルへの質問コストを考慮し、情報利得に基づいて質問タイプと重みを学習し、効率的な対話ナビゲーションを実現する手法を提案した論文。
- NVIDIA OmniDreams: 閉ループ自動運転シミュレーションのためのリアルタイム生成ワールドモデル自動運転シミュレーション2026/6/1
自動運転の閉ループシミュレーション向けに、拡散モデルを基盤としたリアルタイム生成ワールドモデルOmniDreamsを提案し、運転行動に応じたセンサ映像を自己回帰的に生成することで、従来の再構成ベースのシミュレータでは困難な長尾シナリオを合成可能にした。
- 具現化エージェントアーキテクチャ設計の自動化エージェントアーキテクチャ探索2026/6/1
具現化エージェントのアーキテクチャ設計を自動化する手法を提案し、視覚言語ナビゲーションや操作タスクで有効性を検証した。
- SpatialAnt: 能動的なシーン再構築と視覚的予測による自律ゼロショットロボットナビゲーションナビゲーション2026/3/1
ロボットが未知環境を事前探索して自己構築した不完全な3D再構築を用いて、ゼロショットで言語指示によるナビゲーションを実現するフレームワークを提案した。物理的接地によるスケール回復と視覚的予測による経路の反実仮想推論で性能を向上させた。
- ピア観察は役立つのか?視覚言語ナビゲーションのための視覚共有コラボレーションナビゲーション/マルチエージェント2026/3/1
複数のロボットが同じ環境をナビゲートする際、互いの観察情報を共有することで視覚言語ナビゲーションの性能が向上するかを検証するフレームワークCo-VLNを提案し、R2Rベンチマークで効果を実証した。
- 万物を導く一つのエージェント:明示的な世界表現によるMLLMの視覚言語ナビゲーション強化VLA2026/2/1
MLLMを用いたナビゲーションで、低レベル空間推定と高レベル意味計画を分離し、インタラクティブな計量世界表現と反事実推論を導入することで、ゼロショットで最先端性能を達成し、実機移行も実証した。
- SpatialNav: 空間シーングラフを活用したゼロショット視覚言語ナビゲーションナビゲーション2026/1/1
環境を事前探索して空間シーングラフを構築し、エージェント中心の地図と方位合わせした視覚表現、遠隔物体位置推定を組み合わせることで、ゼロショット視覚言語ナビゲーションの性能を大幅に向上させた。
- VLNVerse:多様・身体性・リアルなシミュレーションと評価を備えた視覚言語ナビゲーションのベンチマークVLN2025/12/1
視覚言語ナビゲーション(VLN)の既存ベンチマークの限界を克服するため、多様なタスクを統合し、物理エンジンによる身体性とリアルなシミュレーションを実現した大規模ベンチマークVLNVerseを提案し、既存手法の評価と統合マルチタスクモデルを提示した。
- VLN-MME:言語誘導視覚ナビゲーションエージェントとしてのMLLMの診断VLA2025/12/1
視覚と言語によるナビゲーション(VLN)タスクでMLLMをゼロショットエージェントとして評価する統一ベンチマークVLN-MMEを提案し、CoT推論や自己反省を加えると性能が低下するなど、 embodiedナビゲーションにおけるMLLMの空間推論の弱さを明らかにした。
- Arcadia: 身体性生涯学習のためのフルライフサイクルフレームワークに向けて身体性生涯学習2025/12/1
実世界でのデータ収集・生成的なシーン再構成・共有身体表現・sim-from-real評価を密結合した閉ループにより、身体性エージェントの生涯学習と汎化を実現するフレームワークを提案。
- Fast-SmartWay: パノラマ不要のエンドツーエンドゼロショット視覚言語ナビゲーションVLA2025/11/1
正面のRGB-D画像3枚と言語指示のみからMLLMが直接行動を予測するゼロショットVLN-CEフレームワークを提案し、パノラマ観測とウェイポイント予測器を排除して遅延を大幅に削減した。
- SimULi: アンセンテッド変換を用いたLiDARとカメラのリアルタイムシミュレーションsim2real2025/10/1
3Dガウシアンスプラッティングを拡張し、任意のカメラモデルとLiDARデータをリアルタイムで高忠実度にレンダリングする手法を提案。
- 身体性ナビゲーション基盤モデルナビゲーション基盤モデル2025/9/1
四足歩行・ドローン・車輪ロボット・車両にまたがる800万件のナビゲーションサンプルで学習し、視覚言語ナビゲーションや物体探索、追跡、自動運転など多様なタスクを単一アーキテクチャでこなす基盤モデルを提案。
- 再帰的視覚想像と適応的言語接地による視覚言語ナビゲーションVLA2025/7/1
視覚言語ナビゲーションにおいて、履歴視覚情報を再帰的に要約し、言語命令と適応的に整合させることで、長系列のナビゲーション判断を改善する手法を提案した論文。
- BadNAVer: 視覚言語ナビゲーションに対するジェイルブレイク攻撃の探索VLA2025/5/1
MLLM駆動の視覚言語ナビゲータに対する初の体系的なジェイルブレイク攻撃を提案し、シミュレータと実機で90%超の攻撃成功率を示した。
- ドリブルマスター:脚式移動による俊敏なヒューマノイドドリブルの学習歩行2025/5/1
二段階カリキュラム強化学習と仮想カメラモデルを用いて、ヒューマノイドロボットがシミュレーションでドリブル技能を獲得し、実機へ転移できることを示した研究。
- NeuroLoc: 脳のナビゲーション細胞を模倣した6自由度カメラ自己位置推定自己位置推定2025/5/1
グリッド細胞・プレイス細胞・頭方向細胞に着想を得て、単一画像から6自由度のカメラ位置姿勢を推定する手法を提案し、屋内・屋外ベンチマークで複雑環境でのロバスト性を向上させた。
- LLM推論による動的で雑然とした環境でのモーションエージェントのナビゲーションナビゲーション2025/3/1
環境・エージェント・経路を離散トークンとして符号化し、LLMを空間推論器として用いることで、動的障害物回避やマルチエージェント協調を再学習なしで実現するフレームワークを提案。
- SmartWay: ゼロショット視覚言語ナビゲーションのためのウェイポイント予測とバックトラッキングの強化VLA2025/3/1
連続環境での視覚言語ナビゲーションにおいて、改良されたウェイポイント予測器とMLLMベースのナビゲータを組み合わせ、履歴推論とバックトラッキングを可能にしたゼロショットフレームワークを提案。
- COSMO: 選択的記憶の組み合わせによる低コスト視覚言語ナビゲーションVLA2025/3/1
視覚言語ナビゲーション(VLN)において、状態空間モジュールとトランスフォーマーを統合し、選択的状態空間モジュール(RSSとCS3)を導入することで、高性能と低計算コストを両立する新アーキテクチャCOSMOを提案した。
- 連続環境における地上視点の視覚と言語によるナビゲーションVLA2025/2/1
低視点の四足ロボット向けに、重み付き履歴観測と接続グラフ転移を用いて視覚と言語によるナビゲーションの汎化性能を高めるGVNavを提案した論文。
- SAME: 状態適応型エキスパート混合による汎用言語誘導視覚ナビゲーションの学習ナビゲーション2024/12/1
異なる粒度の言語指示による7つのナビゲーションタスクを統一的に扱うため、状態に応じて専門家を切り替えるMixture of ExpertsモデルSAMEを提案し、タスク特化型エージェントに匹敵する性能を実現した。
- お手伝いわんちゃんボット:脚式ロボットと視覚言語モデルによるオープンワールド物体取得マニピュレーション2024/10/1
四足歩行ロボットにグリッパと視覚言語モデルを組み合わせ、未知の屋内環境で指示に従って物を取ってくるシステムを実現した。
- Open-Nav: オープンソースLLMによる連続環境でのゼロショット視覚言語ナビゲーションの探求VLA2024/9/1
オープンソースLLMを使い、連続環境でのゼロショット視覚言語ナビゲーションを実現するOpen-Navを提案。時空間Chain-of-Thought推論と詳細な物体・空間知識でシーン認識を強化し、閉源LLMに匹敵する性能を示した。
- 指示を超えてナビゲート:障害物環境における視覚と言語によるナビゲーションナビゲーション2024/7/1
視覚と言語によるナビゲーション(VLN)において、予期せぬ障害物による指示と現実の不一致に対応するため、R2R-UNOデータセットを構築し、適応的にナビゲートするObVLN手法を提案した。
- NavGPT-2:大規模視覚言語モデルのナビゲーション推論能力を引き出すVLA2024/7/1
凍結した大規模言語モデルに視覚情報を整合させ、ナビゲーション方策ネットワークと組み合わせることで、視覚言語ナビゲーションタスクにおける推論能力と行動予測性能を向上させた研究。
- HumanPlus:ヒューマノイドの人間動作模倣とシャドーイング模倣学習2024/6/1
人間の動作データセットとRGBカメラによるリアルタイムシャドーイングを組み合わせ、ヒューマノイドが自律的に多様なタスクを模倣学習できるフルスタックシステムを構築した。
- TON-VIO: 高ダイナミックモーションVIOにおけるロバストな時間同期のためのオンライン時間オフセットモデリングネットワークVIO2024/3/1
低コストVIOの時間ずれをオンラインで補正するため、特徴速度推定と時間オフセット予測のニューラルネットワークを導入し、高ダイナミック動作時の位置推定精度を向上させた。
- Thermal-NeRF: 赤外線カメラによるニューラル放射輝度場NeRF/赤外線2024/3/1
赤外線画像のみからNeRFを構築する初の手法を提案し、暗所や遮蔽物がある劣悪環境でも高品質な3D再構成を実現した。
- 融合型場所認識のための明示的インタラクション場所認識2024/2/1
LiDARとカメラの特徴を明示的に相互作用させて相互補完する場所認識ネットワークEINetを提案し、nuScenesベースの新ベンチマークを構築した。
- NaVid: ビデオベースVLMが視覚言語ナビゲーションの次の一歩を計画するVLA2024/2/1
単眼RGBカメラの動画ストリームのみから次の行動を出力するビデオベース大規模視覚言語モデルNaVidを提案し、地図・オドメトリ・深度なしでシミュレーションと実世界の両方で最先端のナビゲーション性能を達成した。
- AerialVLN: UAVのための視覚と言語によるナビゲーションVLA2023/8/1
UAVが屋外環境で視覚と言語指示に従ってナビゲーションする新しいタスクAerialVLNを提案し、25の都市規模シーンを再現した3Dシミュレータとベースラインモデルを開発した。
- NavGPT: 大規模言語モデルによる視覚と言語を用いたナビゲーションの明示的推論VLA2023/5/1
GPTモデルを純粋に用いた指示追従ナビゲーションエージェントNavGPTを提案し、視覚と言語のナビゲーションタスクにおいてゼロショットで高レベルの計画や推論が可能であることを示した。
- カスタム正弦波だけで異なるスタイルの二足歩行を模倣学習歩行2022/4/1
足の高さの参照として単純な正弦波を用い、Cassieロボットがモデル知識なしに効率的な二足歩行を強化学習で獲得できること、また正弦波を調整することで歩容スタイルをカスタマイズできることを示した論文。
- 視覚言語ナビゲーションにおける離散環境と連続環境の学習ギャップを埋めるVLA2022/3/1
連続環境で高レベル行動エージェントを訓練できるよう、候補ウェイポイントを予測する手法を提案し、離散-連続間の性能ギャップを大幅に削減した。
- 適応的模倣:実行不可能な参照からパラメータ化二足歩行を深層強化学習で獲得歩行2021/12/1
低品質で単体では実行不可能な参照動作を事前知識として活用し、性能に応じて模倣と高性能追求を切り替える適応的報酬関数でパラメータ化二足歩行を学習する手法を提案した。
- 自然なジェスチャーによるコミュニケーション学習:人間が同席する身体性ナビゲーションエージェントナビゲーション2021/8/1
VR環境Ges-THOR内で、人間が言語ではなく自然なジェスチャーのみでエージェントを誘導し、未知のジェスチャー意味を学習しながらナビゲーションを解く手法を提案・検証した。
- ロボティクスにおける意味論:マッピング・知覚・インタラクションのサーベイ意味論2021/1/1
ロボットのマッピング・知覚・インタラクションにおける意味論研究を、意味の抽出・利用の観点から4カテゴリに分類し、全体像を俯瞰したサーベイ。
- PPPとLiDARを疎結合した都市峡谷環境向け高精度共分散推定とロバストRAIMを備えるSLAMSLAM2020/12/1
LiDAR-SLAMとPPP測位を疎結合し、SVDヤコビアンでLiDAR-SLAMの共分散を推定するとともに、LiDAR支援RAIMで都市峡谷でのGNSS信頼性を高めたP3-LOAMを提案した論文。
- 注意誘導型単眼SLAM:人間の視線を模倣した視覚的顕著性統合SLAM2020/9/1
人間の視線行動を模した視覚的顕著性モデルSalNavNetを単眼SLAMに統合し、顕著領域の特徴点を重視して最適化することで精度・効率・頑健性を向上させた研究。
- 視覚と言語に基づくナビゲーション指示の解釈:実環境ベンチマークの構築視覚言語ナビゲーション2017/11/1
実写画像を用いた大規模強化学習シミュレータMatterport3Dを構築し、実建物内での自然言語ナビゲーション指示を解釈する初のベンチマークデータセットR2Rを提供した論文。
