Fei Xia
収録論文 62本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- アフォーダンスを活用したLLMによる部分的世界モデリングVLA2026/2/11
大規模言語モデルを部分的世界モデルとして捉え、アフォーダンスに基づく予測を抽出することで探索効率とタスク性能を向上させる手法を提案した論文。
- VeoワールドシミュレータによるGeminiロボティクスポリシーの評価sim2real2025/12/1
最先端の動画生成モデルVeoを基盤とした生成評価システムを構築し、ロボットポリシーの通常性能から分布外汎化、物理・意味的安全性までをシミュレーションで評価できることを示した。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- 知覚と行動をつなぐ:ロボットの汎化のための空間的に接地された中間表現マニピュレーション2025/6/1
物体中心性・姿勢認識・深度認識という中間表現を専門家エンコーダで学習し、その混合専門家ポリシーで実世界の両手巧み操作タスクの汎化性能を向上させた研究。
- Chain-of-Modality: マルチモーダル人間動画と視覚言語モデルによる操作プログラムの学習VLA2025/4/1
筋電アームバンドやマイクなどで計測した人間の操作動画から、視覚言語モデルがタスク計画と力などの制御パラメータを抽出し、ロボットに操作タスクを実行させる手法を提案した。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- IPPON: 常識に導かれた情報経路計画による物体目標ナビゲーション物体目標ナビゲーション2024/10/1
大規模言語モデルの常識事前知識と3D物体確率マッピングを組み合わせ、未知環境で対象物体へ効率的に到達するゼロショットの経路計画手法を提案し、実機でも検証した。
- Gen2Act: 人間動画生成を活用した汎用ロボットマニピュレーションマニピュレーション2024/9/1
ウェブデータで学習した人間動画生成モデルを使い、生成された動画を条件にロボット方策を学習することで、未見物体や新規動作への汎化を実現した。
- Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- VADER: マルチロボット・人間協調のための視覚的アフォーダンス検出とエラー回復VLA2024/5/1
視覚的アフォーダンス検出とエラー認識を行い、他ロボットや人間への助け要請を新たなスキルとして組み込むことで、長期的タスクの中断から回復して完遂するフレームワークVADERを提案した。
- GenCHiP: 高精度・接触リッチなマニピュレーションタスクのためのロボットポリシーコード生成マニピュレーション2024/4/1
LLMによるロボットポリシーコード生成を、接触力や剛性の制約を考慮した行動空間の再パラメータ化により高精度・接触リッチなタスクへ拡張し、FMBやNISTタスクボードで成功率を大幅に改善した。
- CoNVOI: 視覚言語モデルを用いた屋内・屋外環境における文脈認識ナビゲーションナビゲーション2024/3/1
視覚言語モデルを活用し、周囲の状況をゼロショットで分類して文脈に応じた行動指示を生成し、障害物のない領域を番号で注釈した画像から経路を選択することで、屋内・屋外での自律ナビゲーションを実現する手法。
- BEHAVIOR-1K:1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- 大規模言語モデルを用いた表現豊かなロボット動作の生成VLA2024/1/1
大規模言語モデルを活用し、人間の言語指示からロボットの表現豊かな動作を生成する手法を提案。ユーザー研究とシミュレーションで有効性を示した。
- SpatialVLM:視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- コードの連鎖:言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- 基盤モデルによる汎用ロボットの実現に向けて:サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- 言語訂正からロボット操作のための汎化可能な知識を蒸留・検索する手法VLA2023/11/1
大規模言語モデルを用いて、人間の言語による訂正フィードバックから汎化可能な知識を蒸留し、新しい環境で関連する経験を検索してロボット操作の性能を向上させるシステムDROCを提案した。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 大規模言語モデルによる創造的なロボットの道具使用VLA2023/10/1
大規模言語モデルを活用し、自然言語指示からロボット制御コードを生成して、暗黙の物理制約や長期計画を伴う課題で創造的に道具を使うRoboToolを開発した。
- 大規模言語モデルを活用したナビゲーション:計画のためのヒューリスティックとしての意味的推測ナビゲーション2023/10/1
言語モデルが持つ意味的知識を探索ヒューリスティックとして利用し、未知環境でのロボットナビゲーションを効率化する手法を提案。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- Q-Transformer:自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- ジェスチャー情報に基づく基盤モデルを用いたロボット支援VLA2023/9/1
大規模言語モデルを活用し、指差しなどのジェスチャーと指示を柔軟に解釈して人間の意図を推論するロボット協調フレームワークGIRAFを提案。
- 物理的常識を備えた視覚言語モデルによるロボットマニピュレーションマニピュレーション2023/9/1
家庭用品の物理的概念(材質や壊れやすさなど)を注釈付けした大規模データセットPhysObjectsを構築し、視覚言語モデルを微調整することで、ロボットが物体の物理的性質を理解して操作計画を改善できるようにした。
- 助けを求めるロボット:大規模言語モデルプランナーの不確実性調整VLA2023/7/1
LLMベースのプランナーが不確実な状況を検知して人間に助けを求める枠組みKnowNoを提案し、複雑な多段階計画タスクで効率と自律性を向上させた。
- 汎用パターン機械としての大規模言語モデルVLA2023/7/1
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- ソーシャルロボットナビゲーションアルゴリズム評価のための原則とガイドラインソーシャルナビゲーション2023/6/1
人混み環境でのロボットナビゲーションを公平に評価するための共通ベンチマーク基準を提案し、安全性や快適さなどの原則、メトリクスやシナリオ設計のガイドライン、評価フレームワークを示した。
- 言語から報酬へ:ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- Sonicverse:見て聞く家庭内エージェントのためのマルチセンサリ・シミュレーションプラットフォームマルチモーダル/音声視覚ナビゲーション/sim2real2023/6/1
音と視覚を統合したリアルタイム3D音響シミュレータSonicverseを開発し、音声視覚ナビゲーションのマルチタスク学習モデルを提案。シミュレータで訓練したエージェントが実世界環境で音声視覚ナビゲーションを成功させるsim-to-real転移も実証した。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 意味的に想像された経験によるロボット学習のスケーリングマニピュレーション2023/2/1
テキストから画像を生成する拡散モデルを使い、既存のロボット操作データセットに多様な物体や背景を描き加えるデータ拡張手法ROSIEを提案。実世界実験で未見の物体やタスクへの汎化性能と外乱への頑健性が向上することを示した。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 確率的な目標配置環境における計画学習のための文脈付きバンディット手法ナビゲーション2022/11/1
屋内環境で静止物体だけでなく人の介入で位置が変わる移動物体も探索する物体目標ナビゲーションのため、文脈付きバンディットで各地点から物体を見つける確率を学習し、重み付き最小遅延ソルバで経路を計画するモジュール型フレームワークを提案した。
- 強化学習と全身軌道最適化によるロボットのテーブル拭きマニピュレーション2022/10/1
視覚観測からこぼれやパンくずの不確かな動態を考慮しつつ、強化学習で拭き動作を計画し、全身軌道最適化で安全な動作を実現する枠組みを提案した。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- Performer-MPC: 実世界ナビゲーションのためのリアルタイム注意機構を用いたモデル予測制御器の学習ナビゲーション2022/9/1
低ランク注意機構Transformerで視覚文脈を埋め込み、学習したコスト関数とMPCを組み合わせて実世界の混雑環境や人混みでのナビゲーション性能を向上させた。
- 実世界計画のためのオープン語彙でクエリ可能なシーン表現VLA2022/9/1
視覚言語モデルとLLMを組み合わせ、自然言語で問い合わせ可能なシーン表現を構築し、ロボットが周囲の物体を認識・照会しながら計画を立てられるようにした。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- Habitat 2.0におけるBEHAVIOR:身体性AIエージェントのベンチマークのためのシミュレータ非依存な論理タスク記述身体性AIベンチマーク2022/6/1
家庭内タスクを論理空間で記述するBEHAVIORの一部を高速シミュレータHabitat 2.0に移植し、異なるシミュレータ間でタスク定義を再利用できることを示した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- ニューラル二部グラフマッチングによるマルチロボット能動マッピングマルチロボット探索2022/3/1
ロボットとフロンティアの対応を二部グラフマッチングとして定式化し、多重グラフニューラルネットで親和性を学習して強化学習で最適化するマルチロボット能動マッピング手法を提案した。
- BEHAVIOR:仮想環境における日常家事タスクのベンチマークベンチマーク2021/8/1
掃除や料理など100種類の家事タスクをシミュレーション上で再現し、多様な初期・目標条件の生成、評価指標、VRによる人間の実演データを備えた embodied AI 向けベンチマークを提案した。
- iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境sim2real2021/8/1
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
- iGibson 1.0:大規模リアルシーンでのインタラクティブタスク向けシミュレーション環境シミュレーション環境2020/12/1
実世界の家庭を再現した15のインタラクティブなシーンと多様なセンサ信号・ドメインランダム化・動作計画・人間デモ収集機能を備えたロボット学習用シミュレータを公開した論文。
- ReLMoGen:モバイルマニピュレーションのための強化学習における動作生成の活用モバイルマニピュレーション2020/8/1
強化学習の行動空間を動作生成器へのサブゴールに引き上げ、サブゴール予測ポリシーと動作計画・実行を組み合わせることで、長期的なナビゲーションとマニピュレーションの複合タスクを効率的に解くフレームワークを提案した。
- 双方向画像予測による確率的ビジュアルナビゲーションビジュアルナビゲーション2020/3/1
RGB魚眼カメラのみを搭載した移動ロボットが、画像列で示された経路を追従できるよう、双方向の視覚予測と確率的な経路表現を組み合わせたナビゲーション手法を提案した論文。
- 対話型ナビゲーションのためのiGibsonベンチマークナビゲーション2019/10/1
物体との物理的インタラクションを許容する対話型ナビゲーションの初の総合ベンチマークを提案し、高忠実度な屋内シーンシミュレータと評価指標を公開した。
- 移動マニピュレータのための対話型ナビゲーション階層強化学習階層強化学習2019/10/1
ドア開けやボタン押しを伴う対話型ナビゲーションを、フェーズごとに異なる空間でサブゴールを設定し身体部位を使い分ける階層強化学習HRL4INで解き、平坦なPPOやHACより高性能かつ省エネルギーであることを示した。
- PoseRBPF:6D物体姿勢追跡のためのRao-Blackwellized粒子フィルタ物体姿勢推定2019/5/1
物体の3D回転と3D並進を分離し、回転空間を細かく離散化してオートエンコーダで特徴埋め込みのコードブックを構築することで、対称性を持つ物体でも高精度に6D姿勢を追跡する手法を提案した。
- グラフ局在化ネットワークを用いた視覚ナビゲーションの行動的アプローチ視覚ナビゲーション2019/3/1
トポロジカルマップと視覚入力のみでロボットを目的地へ導くため、グラフニューラルネットで自己位置推定し、行動をプリミティブに分解して畳み込み・再帰型NNで実装する手法を提案した。
- 視覚軌跡追従と障害物回避を両立する深層視覚MPCポリシー学習ナビゲーション2019/3/1
視覚軌跡と現在の視覚入力から速度指令を出力し、軌跡追従と未知障害物回避を両立するナビゲーション手法PoliNetを提案。再学習なしで新規シーンに適用でき、実機・シミュレーションで有効性を示した。
- Gibson環境:実世界知覚を備えた身体性エージェントのための仮想環境sim2real2018/8/1
実在する572棟・1400以上の空間を仮想化した環境「Gibson」を構築し、実世界の意味的複雑さを保ちつつシミュレーションで学習した知覚モデルをそのまま実環境へ展開できる仕組みを提案した論文。
- 動的環境における未来視点画像合成による走行可能領域推定走行可能領域推定2018/6/1
RGBカメラのみを用いて、ロボットの速度指令に応じた未来の視点画像を動的障害物の動きも考慮して合成し、その画像から周囲の走行可能領域を推定する手法を提案した論文。
