Stephen Tyree
収録論文 16本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RoboSpatial:ロボティクスのための2D・3D視覚言語モデルに空間理解を教えるVLA2024/11/1
ロボティクス向けの大規模空間理解データセットRoboSpatialを構築し、2D・3Dの視覚言語モデルに空間推論を学習させることで、空間アフォーダンス予測やロボット操作などのタスク性能を向上させた。
- Diff-DOPE: 微分可能な深層物体姿勢推定姿勢推定2023/10/1
微分可能レンダリングを用いて、画像と3Dモデルから物体の6DoF姿勢を学習なしで最適化する手法を提案し、姿勢推定データセットで最先端の結果を達成した。
- HANDAL: 実世界の操作可能物体カテゴリに対する姿勢注釈・アフォーダンス・再構成を含むデータセットデータセット/姿勢推定2023/8/1
ロボットが把持・操作しやすい実世界の道具212個を17カテゴリにわたり、単一カメラと半自動処理で3D姿勢・アフォーダンス・メッシュを注釈付けした大規模データセットを構築した。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- MegaPose: レンダリングと比較による新規物体の6D姿勢推定6D姿勢推定2022/12/1
CADモデルと画像中の関心領域のみを用いて、学習時に未見の物体の6D姿勢を推定する手法を提案。大規模合成データで学習し、実画像の新規物体に再学習なしで適用可能。
- RGB画像のみからの卓上シーン再構成による衝突回避マニピュレータ制御マニピュレーション2022/10/1
RGBカメラ画像のみからNeRFで卓上シーンの3D形状を再構成し、ESDFとモデル予測制御を用いてマニピュレータを障害物回避しながら目標姿勢へ制御するシステムを提案した。
- NeRFの並列逆最適化によるロバストなカメラ姿勢推定姿勢推定/NeRF2022/10/1
高速NeRFと並列モンテカルロサンプリングを組み合わせ、単一RGB画像から物体やシーンに対するカメラの6自由度姿勢を高精度かつロバストに推定する手法を提案した。
- 不確実性推定を伴うRGB動画からのキーポイントベースカテゴリレベル物体姿勢追跡姿勢推定2022/5/1
単眼RGB動画の連続フレームから既知カテゴリ物体の6DoF姿勢とバウンディング直方体を、キーポイント分布の確率的フィルタリングにより不確実性を考慮して推定・追跡する手法を提案した。
- 家庭用品の6自由度姿勢推定:入手しやすいデータセットとベンチマーク姿勢推定2022/3/1
ロボット操作向けに、市販のおもちゃの食品を用いた6自由度姿勢推定データセットを構築し、対称性に頑健な新しい評価指標ADD-Hを提案した論文。
- 単一RGB画像からの単段階キーポイントベースカテゴリレベル物体姿勢推定姿勢推定2021/9/1
単一のRGB画像から未知の物体インスタンスのカテゴリレベル6DoF姿勢を推定する単段階キーポイントベース手法を提案し、Objectronベンチマークで最先端を上回る精度を達成した。
- NViSII: フォトリアル画像生成のためのスクリプタブルツール合成データ生成2021/5/1
NVIDIA OptiXのレイトレーシングとAIデノイザを活用し、CV・深層学習研究向けの高品質な合成画像を生成するPython製レンダラを提案。パストレーシングで生成したデータで物体検出・姿勢推定を学習し、sim2real転移の改善を示した。
- 多視点融合による多階層ロボットシーン理解シーン理解2021/3/1
ハンドカメラのRGB画像列から、障害物回避用の点群、未知物体の形状カテゴリと概略姿勢、既知物体の6DoF姿勢を融合的に推定し、マニピュレーション向けの豊富なシーン表現を実現した。
- 外部単眼RGBカメラからの間接的な物体-ロボット姿勢推定把持/姿勢推定2020/8/1
単一の外部RGBカメラから物体とロボットの相対姿勢を2つのニューラルネットで間接的に推定し、把持を行うシステムを提案。合成データとドメインランダム化で学習し、カメラを自由に動かせる。
- セグメンテーションを介したsim2real転移sim2real2020/5/1
セグメンテーションを認識と制御の共通インターフェースとして用い、閉ループ制御と合成データによる知覚学習でシミュレーションから実環境への転移を実現した。
- 実世界デモンストレーションから人間可読な計画を学習する合成訓練ニューラルネットワークsim2real2018/5/1
実世界のデモンストレーションから人間が読めるプログラムを推論・実行するシステムを提案し、合成画像のみで訓練した知覚ネットワークと計画生成・実行ネットワークをBaxterロボットの積み木タスクで実世界検証した。
- 目視と連続制御による高精度把持のsim2real転移sim2real2017/12/1
視覚モジュールと閉ループ制御を分離し、実背景とシミュレーション画像を合成して学習することで、実機で直径1.37cmの小球を90%の成功率で把持できる手法を実現した。
