Silvio Savarese
Salesforce AI Research
収録論文 79本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 対話型ビジュアルジム：シミュレートされたユーザーとの閉ループ評価フレームワーク視覚対話/ベンチマーク2026/11/5
実行可能なタスク環境とペルソナ付きユーザーシミュレータを組み合わせ、調理・家事・モバイル操作の3領域で視覚対話モデルを閉ループ評価するベンチマークIVG-Benchを提案した。
- 動作画像拡散との共同学習によるロボットVLAの性能向上VLA2025/12/1
VLAモデルに将来の動きを予測する動作ヘッドを追加し、動作ヘッドと共同学習することで、推論速度を保ちながら動作推論能力と実環境性能を大幅に向上させた。
- 環境との対話によるLLMエージェントのテスト時適応VLA2025/11/6
LLMエージェントが未知の環境に適応するため、オンライン構文整合と展開時の動力学接地という2つの手法を提案し、関数呼び出しやWebナビゲーションで有効性を示した。
- BEHAVIOR-1K：1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- 静止するものはない：大規模な幾何学的・時間的変化下での3D点群位置合わせの時空間ベンチマーク点群位置合わせ/時空間マッピング2023/11/1
建設・改修中の大規模屋内環境を繰り返し計測した3D点群データセットを構築し、大きな時空間変化を伴うシーン断片の位置合わせを評価するベンチマークNSSを提案した。
- Sonicverse：見て聞く家庭内エージェントのためのマルチセンサリ・シミュレーションプラットフォームマルチモーダル/音声視覚ナビゲーション/sim2real2023/6/1
音と視覚を統合したリアルタイム3D音響シミュレータSonicverseを開発し、音声視覚ナビゲーションのマルチタスク学習モデルを提案。シミュレータで訓練したエージェントが実世界環境で音声視覚ナビゲーションを成功させるsim-to-real転移も実証した。
- 最新性予測によるオンライン分布シフト検出分布シフト検出2022/11/1
ロボットのストリーミング高次元データに対し、偽陽性率を保証しつつ分布シフトをオンライン検出する手法を提案し、視覚サーボで失敗前に警告できることを示した。
- ACID: 変形物体操作のための行動条件付き暗黙的視覚ダイナミクス変形物体操作2022/3/1
ぬいぐるみや生地のような体積変形物体を対象に、占有と流れの暗黙表現と測地線ベースの対照学習を組み合わせた行動条件付き視覚ダイナミクスモデルを提案し、目標条件付き変形操作の成功率を30%向上させた。
- テレオペデータからの誤り検知を備えた移動マニピュレーションの模倣学習移動マニピュレーション2021/12/1
移動マニピュレーション向けに同時操作可能なテレオペレーションフレームワークMoMaRTを提案し大規模データセットを収集、失敗状態を検知する誤り検出器を組み合わせた模倣学習で多段タスクの成功率を向上させた。
- オフラインデータとクラウドソーシング注釈から言語条件付きロボット行動を学習言語条件付きマニピュレーション2021/9/1
ロボットのオフラインデータにクラウドソーシングで言語ラベルを付与し、言語指示の達成を判定する分類器を学習して報酬関数とし、多タスクオフライン強化学習で視覚ベースのマニピュレーションを実現した。
- Conformal Predictionによるサンプル効率の良い安全保証安全保証2021/9/1
Conformal Predictionとロボット・環境ダイナミクスのシミュレータを組み合わせ、1/ε程度の少ないデータで偽陰性率εを理論的に保証する警告システムを構築し、運転警告やロボット把持に適用した。
- iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境sim2real2021/8/1
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
- オフライン人間デモンストレーションからのロボットマニピュレーション学習で重要なこと模倣学習2021/8/1
6つのオフライン学習アルゴリズムを5つのシミュレーションと3つの実世界の多段階マニピュレーションタスクで比較し、人間デモデータから学ぶ際の課題と教訓を明らかにした研究。
- Co-GAIL: 人間とロボットの協調のための多様な戦略の学習人間ロボット協調2021/8/1
人間同士の協調デモから、相手の潜在戦略を推定しつつ多様な人間行動に対応するロボット協調方策を学習する手法を提案し、2Dゲーム・受け渡し・多段階操作タスクで有効性を示した。
- BEHAVIOR：仮想環境における日常家事タスクのベンチマークベンチマーク2021/8/1
掃除や料理など100種類の家事タスクをシミュレーション上で再現し、多様な初期・目標条件の生成、評価指標、VRによる人間の実演データを備えた embodied AI 向けベンチマークを提案した。
- 多様なタスクの自動生成による汎化可能スキルの発見スキル学習2021/6/1
訓練可能なタスク生成器で多様なタスクを自動生成し、各スキルを固有タスクに特化させつつタスク多様性を最大化することで、汎化可能なロボットスキルを獲得する手法SLIDEを提案。
- 手と目の協調による汎化：空間不変な視覚運動制御を学習するための行動空間模倣学習2021/3/1
人間の手と目の協調を模した学習可能な行動空間HANを提案し、模倣学習ポリシーが新しいシーン配置にゼロショットで汎化できることを多段階操作タスクで示した。
- 効率的な強化学習のための潜在行動空間を学習するLASER強化学習2021/3/1
類似タスクの軌道データから変分エンコーダ・デコーダで元の行動を潜在行動空間に写像し、その空間で強化学習を行うことでサンプル効率を改善する手法を提案した。
- 学習と進化による身体性知能進化ロボティクス2021/2/1
多様な形態のエージェントを進化させ強化学習で移動・操作タスクを学ばせるDERLフレームワークを提案し、環境複雑性が形態的知能と学習速度の進化を促すことを示した。
- 協調テレオペレーションによる多腕マニピュレーションの学習マニピュレーション2020/12/1
複数ユーザが遠隔から同時に複数のロボットアームを操作して実演を収集するプラットフォームMARTを構築し、多腕タスクの模倣学習における集中化の課題を分析した研究。
- トポロジカルマップとTransformerによる視覚言語ナビゲーション計画視覚言語ナビゲーション2020/12/1
自然言語指示とトポロジカルマップから注意機構でナビゲーション計画を予測し、低レベル行動で実行するモジュール型VLN手法を提案した論文。
- iGibson 1.0：大規模リアルシーンでのインタラクティブタスク向けシミュレーション環境シミュレーション環境2020/12/1
実世界の家庭を再現した15のインタラクティブなシーンと多様なセンサ信号・ドメインランダム化・動作計画・人間デモ収集機能を備えたロボット学習用シミュレータを公開した論文。
- 3Dシーングラフ上のニューラルメッセージパッシングによる階層的機械探索物体探索2020/12/1
家庭やオフィスの3Dシーングラフを構築し、視覚・幾何・言語情報をニューラルメッセージパッシングで統合して、自然言語で指定された物体を効率的に探すHMSを提案した論文。
- 遠隔操作による人間介入型模倣学習模倣学習2020/12/1
6自由度マニピュレーション向けに、人間が遠隔から訓練済み方策を監視・介入できるデータ収集システムと、介入データで方策を反復学習するアルゴリズムを提案した論文。
- 深層アフォーダンス先読み：将来可能な行動を通じた計画立案マニピュレーション2020/11/1
将来のアフォーダンスをモデル化することで長期的な行動効果を推論し、多段階の操作タスクを学習・計画する手法を提案した論文。
- 中間視覚表現によるロバスト方策：マニピュレーションとナビゲーションにおける実験的研究VLA2020/11/1
深層強化学習に中間視覚表現を組み込むことで、サンプル効率と汎化性能が向上し、ドメインランダム化より大きなドメインシフトにも対応できることをマニピュレーションとナビゲーションで示した。
- 異種センサ融合のための微分可能フィルタマルチモーダル/状態推定2020/10/1
視覚と触覚など異種モダリティを統合する微分可能ベイズフィルタのアーキテクチャを提案し、平面押し操作とドア操作タスクで評価した。
- 制約された歩行者環境における強化学習を用いたロボットナビゲーションナビゲーション2020/10/1
強化学習で歩行者を避けつつ狭い廊下やドアなどの制約環境を移動するナビゲーション方策を学習し、単純なレイアウトでの訓練が複雑な未見環境や実環境の3D再構成に汎化することを示した。
- ReLMoGen：モバイルマニピュレーションのための強化学習における動作生成の活用モバイルマニピュレーション2020/8/1
強化学習の行動空間を動作生成器へのサブゴールに引き上げ、サブゴール予測ポリシーと動作計画・実行を組み合わせることで、長期的なナビゲーションとマニピュレーションの複合タスクを効率的に解くフレームワークを提案した。
- 視覚運動による機械的探索：散らかった環境で対象物を取り出す学習マニピュレーション2020/8/1
散らかった物体の山に隠れた対象物を、深層強化学習で効率的に露出させる視覚運動ポリシーを学習する手法を提案した論文。
- 目標に即した予測：重要なものだけをモデル化する学習モデルベースRL2020/7/1
学習したダイナミクスモデルの目的を下流タスクに合わせ、目標に関連する状態のみを自己教師ありで予測する手法を提案し、モデルフリーRLやタスク非依存モデルを上回る性能を示した。
- 難探索問題のための適応的プロシージャルタスク生成強化学習・カリキュラム2020/7/1
強化学習のカリキュラムとしてタスクを段階的に生成するAPT-Genを提案し、エージェントの成績と目標タスクとの類似度を両立させる敵対的学習で難探索問題の性能を向上させた。
- 双方向画像予測による確率的ビジュアルナビゲーションビジュアルナビゲーション2020/3/1
RGB魚眼カメラのみを搭載した移動ロボットが、画像列で示された経路を追従できるよう、双方向の視覚予測と確率的な経路表現を組み合わせたナビゲーション手法を提案した論文。
- 人間のデモンストレーションから長期的タスクへの汎化を学ぶ模倣学習2020/3/1
複数の人間デモの軌道が状態空間で交差する構造を利用し、未見の開始・目標状態の組み合わせに汎化する目標指向方策を2段階のオフライン模倣学習で訓練する手法GTIを提案し、実世界の長期的マニピュレーションで検証した。
- JRMOT：リアルタイム3D多物体追跡システムと大規模データセット3D多物体追跡2020/2/1
RGB画像と3D点群を統合し、再識別・2D/3D検出を組み合わせたカルマンフィルタベースのリアルタイム3D多物体追跡システムを提案し、大規模な2D+3DデータセットJRDBも公開した。
- 中レベル視覚事前知識を用いたナビゲーション学習ナビゲーション2019/12/1
距離推定やエッジ検出などの中レベル視覚スキルを強化学習に組み込み、生画像からの学習より速く汎化性能も高いナビゲーションポリシーが得られることを大規模実験で示した論文。
- IRIS: 大規模オフライン実演データから制御を学ぶ暗黙的強化学習フレームワークオフライン強化学習2019/11/1
大規模なロボット操作の実演データから、低レベル模倣コントローラと高レベル目標選択を分離して学習するIRISを提案し、完全オフライン学習で高性能な方策を得られることを示した。
- RoboTurkで数百時間規模のロボット教師データ収集を実現テレオペレーション2019/11/1
遠隔テレオペレーション基盤RoboTurkを拡張し、1週間で54人・3タスク・111時間超のロボットマニピュレーションデータを収集、その品質と多様性を評価した論文。
- 移動マニピュレータのための対話型ナビゲーション階層強化学習階層強化学習2019/10/1
ドア開けやボタン押しを伴う対話型ナビゲーションを、フェーズごとに異なる空間でサブゴールを設定し身体部位を使い分ける階層強化学習HRL4INで解き、平坦なPPOやHACより高性能かつ省エネルギーであることを示した。
- 3Dシーングラフ：意味・3D空間・カメラを統合する構造3Dシーングラフ2019/10/1
3Dメッシュとパノラマ画像から、物体・部屋・カメラの意味情報と関係を統合した3Dシーングラフを半自動で構築するフレームワークを提案した論文。
- JRDB: 人環境における一人称視点ロボット知覚のデータセットとベンチマーク一人称視点知覚2019/10/1
社会的移動マニピュレータJackRabbotで収集した360度映像・3D点群・音声などを含む一人称視点マルチモーダルデータセットを公開し、人物の2D/3D検出・追跡のベンチマークを提供する。
- 対話型ナビゲーションのためのiGibsonベンチマークナビゲーション2019/10/1
物体との物理的インタラクションを許容する対話型ナビゲーションの初の総合ベンチマークを提案し、高忠実度な屋内シーンシミュレータと評価指標を公開した。
- KETO: 道具操作のためのキーポイント表現学習マニピュレーション2019/10/1
道具を使った操作タスクにおいて、3D点群からタスク固有のキーポイントを自己教師あり学習で予測し、把持と操作を効率化するフレームワークを提案した。
- 6-PACK: アンカーベースキーポイントによるカテゴリレベル6D姿勢トラッカー6D姿勢推定2019/10/1
RGB-Dデータ上で未知の物体インスタンスの6D姿勢をリアルタイム追跡するため、少数の3Dキーポイントを教師なしで学習し、キーポイントマッチングでフレーム間の動きを推定する手法を提案した。
- カスケード変分推論による多段階マニピュレーションのダイナミクス学習マニピュレーション2019/10/1
高次効果の予測と低次動作の生成を分離するカスケード変分推論で潜在表現を学習し、2つの時間解像度で階層的に計画するモデルベース手法を提案した。
- 回帰計画ネットワーク：高次元観測からの長期シンボリック計画学習計画学習2019/9/1
古典的な回帰（後向き）計画の考え方をニューラルネットに取り入れ、目標から現在の観測へ逆向きに中間目標列を生成することで、高次元視覚入力から長期タスクの計画を直接学習する手法を提案した。
- SURREAL-System：分散深層強化学習のための完全統合スタック分散強化学習2019/9/1
ハードウェア抽象化からアルゴリズムまで4層で構成され、ラップトップからクラウドまでスケール可能な分散強化学習フレームワークを提案し、PPOやESを数千コア・数百GPUに拡張してGymとRoboticsで最先端性能を達成した。
- 記号プランナの連続緩和によるワンショット模倣学習模倣学習2019/8/1
ワンショット模倣学習を記号計画と記号接地の問題として定式化し、記号接地モデルの確率的出力上で直接計画する連続緩和プランナを提案した論文。
- 視覚と触覚を統合したマルチモーダル表現学習による接触の多い操作タスクマルチモーダル表現学習2019/7/1
自己教師あり学習で視覚と触覚のコンパクトなマルチモーダル表現を獲得し、ペグ挿入タスクにおける強化学習のサンプル効率と汎化性能を向上させた研究。
- エンドエフェクタ空間における可変インピーダンス制御：接触の多いタスクのための強化学習アクション空間マニピュレーション2019/6/1
接触を伴うマニピュレーションタスク向けに、エンドエフェクタ空間での可変インピーダンス制御を強化学習のアクション空間として提案し、サンプル効率・省エネルギー・安全性の面で優れることを3つのタスクで示した。
- ロボットナビゲーションのための深層局所軌道再計画と制御ナビゲーション2019/5/1
大域プランナと深層学習による局所軌道計画・速度制御を組み合わせ、注意機構で歩行者を避けつつ目標へ向かう解釈可能なナビゲーションシステムを提案した。
- グラフ局在化ネットワークを用いた視覚ナビゲーションの行動的アプローチ視覚ナビゲーション2019/3/1
トポロジカルマップと視覚入力のみでロボットを目的地へ導くため、グラフニューラルネットで自己位置推定し、行動をプリミティブに分解して畳み込み・再帰型NNで実装する手法を提案した。
- 長期的タスクに取り組む身体性エージェントのためのシーン記憶トランスフォーマーナビゲーション2019/3/1
観測を記憶に蓄積しアテンションで時空間依存性を活用する記憶ベース方策SMTを提案し、視覚ナビゲーションタスクで既存手法を大きく上回る性能を示した。
- 機械的探索：散らかった物体に隠れた目標物の多段階取り出しマニピュレーション2019/3/1
散らかった箱の中で目標物体を押す・吸着・把持の3動作を繰り返し選んで取り出すタスクを定式化し、5つのアルゴリズム方策を1万5千回のシミュレーションと300回の実機実験で評価した。
- 視覚軌跡追従と障害物回避を両立する深層視覚MPCポリシー学習ナビゲーション2019/3/1
視覚軌跡と現在の視覚入力から速度指令を出力し、軌跡追従と未知障害物回避を両立するナビゲーション手法PoliNetを提案。再学習なしで新規シーンに適用でき、実機・シミュレーションで有効性を示した。
- DenseFusion：反復的な密融合による6D物体姿勢推定6D姿勢推定2019/1/1
RGB-D画像から既知物体の6D姿勢を推定するため、RGBと深度を個別に処理してピクセル単位の密な特徴を融合するネットワークと反復的な姿勢精緻化を組み合わせた手法を提案し、YCB-VideoとLineMODで最先端性能を達成、実機ロボットでの把持にも応用した。
- 中レベル視覚表現が視覚運動ポリシーの汎化とサンプル効率を改善する視覚運動ポリシー2018/12/1
距離推定やエッジ検出などの中レベル知覚スキルを強化学習に組み込むことで、生画像からの学習よりナビゲーションタスクの汎化性能とサンプル効率が向上することを示し、効率的な特徴セットを提案した。
- RoboTurk：模倣によるロボット技能学習のためのクラウドソーシング基盤模倣学習2018/11/1
スマホなどの一般モバイル端末で6自由度の遠隔操作を可能にし、クラウドソーシングで大規模な操作デモを収集するプラットフォームを構築した。VRコントローラ並みの操作性と劣悪なネットワーク下での頑健性を示し、2200件超のデモを収集して疎報酬の多段階操作タスクの政策学習に有効であることを実証した。
- 視覚と触覚を統合する自己教師ありマルチモーダル表現学習による接触の多い操作マルチモーダル/触覚2018/10/1
視覚と触覚の入力を自己教師あり学習でコンパクトなマルチモーダル表現にまとめ、強化学習のサンプル効率を高めてペグ挿入タスクを実機でも安定してこなせるようにした研究。
- Gibson環境：実世界知覚を備えた身体性エージェントのための仮想環境sim2real2018/8/1
実在する572棟・1400以上の空間を仮想化した環境「Gibson」を構築し、実世界の意味的複雑さを保ちつつシミュレーションで学習した知覚モデルをそのまま実環境へ展開できる仕組みを提案した論文。
- ニューラルタスクグラフ：単一動画デモから未見タスクへ汎化する方策学習模倣学習2018/7/1
単一の動画デモから未見タスクを遂行する方策を生成するため、タスクの合成構造を中間表現として組み込むNeural Task Graphを提案し、ブロック積み上げや物体収集タスクで汎化性能を示した。
- 動的環境における未来視点画像合成による走行可能領域推定走行可能領域推定2018/6/1
RGBカメラのみを用いて、ロボットの速度指令に応じた未来の視点画像を動的障害物の動きも考慮して合成し、その画像から周囲の走行可能領域を推定する手法を提案した論文。
- シミュレーション自己教師あり学習による道具操作用のタスク指向把持の学習マニピュレーション2018/6/1
道具を使ったタスクのために、把持と操作方策を同時に最適化するTOG-Netを提案し、大規模シミュレーション自己教師あり学習で訓練して、掃き掃除とハンマー打ちで実機検証した論文。
- タスクノミー：視覚タスク間の転移学習構造の解明転移学習2018/4/1
26種類の視覚タスク間の転移学習依存関係を計算的にモデル化し、タスク間の構造を地図化することで、ラベル付きデータの需要を約2/3削減できることを示した論文。
- GONet：半教師あり学習による走行可能領域推定走行可能領域推定2018/3/1
魚眼画像から走行可能領域を推定するGANベースの半教師あり手法を提案し、正例を多く負例を少数だけ使って学習できる実用的な点とリアルタイム性・汎化性を示した。
- ニューラル・タスク・プログラミング：階層的タスクへの汎化を学ぶ模倣学習2017/10/1
タスクの映像デモを入力に、階層的にサブタスクへ再帰分解し、下位プログラムを呼び出すニューラルプログラムでロボット操作を学習する枠組みを提案。未見の長さ・構造・目的のタスクへ汎化できることを示した。
- シミュレーションからのインスタンス把持学習のためのマルチタスクドメイン適応sim2real2017/10/1
シミュレーションで学習した把持モデルを、ドメイン敵対的損失と無差別把持データを用いて実機に転移するマルチタスクドメイン適応手法を提案し、実ロボット実験で有効性を示した。
- 姿勢推定とマッチングによる汎用3D表現の学習3D表現学習2017/10/1
物体中心のカメラ姿勢推定と広基線特徴マッチングを解くマルチタスクConvNetを学習し、その内部表現が微調整なしで新規3Dタスクに汎化することを示した研究。
- 行くべきか、行かざるべきか？ロボットナビゲーションのためのほぼ教師なし学習手法ナビゲーション2017/9/1
GANを用いて、ロボットが視覚情報から空間が通行可能かどうかをほぼ教師なしで判定する手法を提案し、未知環境での移動ロボット実験で有効性を示した。
- 確率的動力学系におけるゼロショット適応ポリシー転送sim2real2017/7/1
シミュレータで学習したRLポリシーを、オンラインのチューブ型MPCと組み合わせることで、動力学誤差のある未知環境へ安全かつゼロショットで転送するADAPTを提案した。
- 屋内シーン理解のための2D-3Dセマンティック統合データセットデータセット2017/2/1
大規模屋内空間を対象に、RGB画像・深度・法線・セマンティック注釈・3Dメッシュ・点群を相互登録したデータセットを構築し、クロスモーダル学習を可能にした。
- 動画集合からの教師なし意味的行動発見動画理解2016/5/1
大量の教示動画から、視覚と言語の手がかりを統合した生成モデルにより、動画を意味的な手順に自動分割し、各手順のテキスト記述も生成する教師なし手法を提案した。
- 深層回帰ネットワークによる100FPSの物体追跡学習物体追跡2016/4/1
オフライン学習したフィードフォワード型ニューラルネットで、未知の物体を100fpsでリアルタイム追跡する手法を提案した論文。
- 見て補う：行動と関係の教師なし学習行動認識2016/3/1
RGB-D動画から人間の複合行動を教師なしでセグメンテーション・クラスタリングし、行動間の共起・時間関係をモデル化して忘れ行動を検出する「行動パッチング」を提案。見守りロボットで実装した。
- 混雑複雑環境における社会的ナビゲーションの予測軌跡予測2016/1/1
大学キャンパスなど実環境で歩行者以外も含む大規模軌跡データセットを構築し、クラス間相互作用と「社会的感受性」を考慮した軌跡予測アルゴリズムを提案・評価した論文。
- ShapeNet：情報豊富な3Dモデルリポジトリ3Dデータセット2015/12/1
多様なカテゴリの3D CADモデルを大規模に収集し、形状の整列や部品、対称面、物理サイズなどの注釈を付与したデータセット基盤を構築した。
- 見守りロボット：忘れた行動を教師なし学習で指摘行動認識2015/12/1
Kinectで人の行動を観察し、教師なし学習で行動と物体の共起や時間関係を学んで忘れた行動を検出し、レーザーポインタで関連物体を指し示して思い出させるロボットシステムを提案した。
- 時空間グラフ上の深層学習：Structural-RNN時空間グラフ2015/11/1
任意の時空間グラフをフィードフォワードで微分可能なRNN混合構造に変換し、統合的に学習できる汎用的手法を提案した論文。
- 単一視点からの物体インスタンス認識のための深層学習物体認識2015/7/1
各物体につき1枚の画像しかない状況で深層学習により物体インスタンスを認識する手法を提案し、多視点補助データセットで視点変化に頑健な学習を行うことで従来手法を上回る性能を示した。
