Yu Xiang
The University of Texas at Dallas
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 推論から行動へ：LIBERO-10ロボット操作タスクにおける最先端AIモデルのベンチマーク評価VLA2026/10/21
汎用AIモデルがタスク特化の学習なしにロボット操作を行えるかを検証するため、LIBERO-10上で6モデル・18設定・1800エピソードの閉ループ評価を実施した。最高成功率は44%で、推論努力の増加は概ね性能を向上させるがタスク間差が大きいことを示した。
- 統一ハンド行動空間によるクロスエンボディメントロボット操作マニピュレーション2026/7/1
球体ベースの統一行動表現とカスケード逆運動学を用いて、異なるロボットハンド間で操作ポリシーを転送可能にする手法を提案した。
- NAC: 視覚・言語・行動モデルのためのニューラル行動コーデックVLA2026/6/1
ロボットの行動軌跡を音声コーデックの技術を応用して圧縮・離散化する新しいトークナイザを提案し、既存手法より高い再構成精度とタスク成功率を達成した。
- VLA-REPLICA: 実世界での視覚言語行動モデル評価のための低コストで再現可能なベンチマークVLA/ベンチマーク2026/5/1
低コストで再現可能な実世界ベンチマークを提案し、VLAモデルの評価を標準化する。
- Robometer：軌道比較による汎用ロボット報酬モデルのスケーリング報酬モデリング2026/3/1
軌道内の進捗監督と軌道間の選好監督を組み合わせた報酬モデルを提案し、100万軌道のデータセットで学習することで、汎用性の高い報酬関数を実現した。
- 局所マッチから大域マスクへ：テンプレート誘導によるオープンワールド場面でのインスタンス検出とセグメンテーション検出・セグメンテーション2026/3/1
テンプレート画像とのパッチ単位の密なマッチングで候補点を生成し、選別後にSAMをプロンプトして、未知環境中の特定物体インスタンスを検出・セグメンテーションする手法を提案。
- MotionBits: 剛体の運動レベル解析によるビデオセグメンテーションセグメンテーション2026/3/1
剛体の運動を基本単位とする新しいセグメンテーション概念「MotionBit」を提案し、手動ラベル付きベンチマークと学習不要のグラフベース手法で既存手法を上回る性能を示した。
- ManipulationNet：物理的スキル課題と身体化マルチモーダル推論を備えた実世界ロボット操作のベンチマーク基盤ベンチマーク2026/3/1
実世界のロボット操作タスクを標準化されたハードウェアキットと統一ソフトウェアクライアントで提供し、物理スキルと身体化推論の2トラックで評価する持続可能なベンチマーク基盤を提案した。
- どこを触り、どう接触するか：幾何認識型sim-to-realマニピュレーションのための階層型RL-MPCフレームワークマニピュレーション2026/1/1
接触を伴う巧みな操作を「どこを触るか（幾何）」と「どう動かすか（接触力学）」に階層化し、高レベルRLが接触意図を予測、低レベル接触陰的MPCが接触モードを最適化する枠組みを提案。多様な形状の押し操作や回転・反転、環境支援型の再配置で、少ないデータ（エンドツーエンド比1/10）で高成功率とゼロショットsim-to-real転移を実現した。
- HRT1: 人間からロボットへのワンショット軌道転送による移動マニピュレーション模倣学習2025/10/1
ARヘッドセットで撮影した人間のデモ動画から手の3D軌道を抽出し、移動マニピュレータのエンドエフェクタ軌道へ転送して、環境や物体配置が異なっても同じ作業を一度の実演で再現できるシステムを提案した。
- OpenEgo: 巧みな操作のための大規模マルチモーダル自己中心視データセットマニピュレーション2025/9/1
自己中心視点の動画を集め、手の姿勢と行動のラベルを統一した大規模データセットOpenEgoを構築し、言語条件付き模倣学習で巧みな手の軌道予測が可能なことを示した。
- V-HOP: 視覚触覚融合による6D物体姿勢追跡視覚触覚融合2025/2/1
視覚と触覚を統合したトランスフォーマーにより、多様なグリッパやセンサに対応する6D物体姿勢追跡手法を提案し、実世界で視覚のみの手法を大きく上回る性能を実現した。
- iTeach: 実環境での失敗駆動型ロボット知覚適応のためのインタラクティブ教示知覚適応2024/10/1
人間がロボットの知覚失敗を観察し、短い物体操作で失敗例を収集、視線と音声で最小限の注釈を付けてモデルを逐次微調整することで、実環境での知覚性能と把持成功率を向上させる枠組みを提案。
- RobotFingerPrint: マルチグリッパ把持生成と転移のための統合グリッパ座標空間マニピュレーション2024/9/1
球面座標で異なるロボットグリッパ間の共通座標空間を構築し、未知の物体やグリッパに対しても把持生成と転移を可能にする手法を提案した。
- 一度構築すれば継続監視：自律探索とオープンボキャブラリ物体更新による永続的セマンティックマッピングセマンティックマッピング2024/9/1
幾何地図を一度構築し、以降は軽量なセマンティック更新のみを繰り返すことで、屋内環境の物体変化を継続的に監視するシステムを提案。実環境で検証した。
- 事前学習済み視覚モデルを新規インスタンス検出・セグメンテーションに適応検出・セグメンテーション2024/5/1
Grounding DINOとSAMで物体候補を生成し、DINOv2の特徴量に重みアダプタを適用して高品質なインスタンス埋め込みを作ることで、少数例から新規物体を検出・セグメンテーションする手法を提案。
- MultiGripperGrasp: 平行グリッパから多指ハンドまでのロボット把持データセットマニピュレーション2024/3/1
11種類のグリッパ（2本指から5本指、人間の手まで）と345物体に対する3040万件の把持をシミュレータで検証し、成否と落下時間を記録した大規模データセットを構築。手のひらの位置・向きを揃えることでグリッパ間の把持転移を可能にした。
- 点群を用いた把持軌道最適化マニピュレーション2024/3/1
ロボットと環境を点群で表現し、点対応と符号付き距離場による衝突回避を組み込んだ非線形最適化で把持の関節運動と把持計画を同時に解く手法を提案した。
- RISeg: ロボットインタラクションによる物体セグメンテーションセグメンテーション2024/3/1
ロボットが物体に触れて動かし、剛体に付随するフレームの相対速度から物体を識別することで、混雑環境でも未見物体のセグメンテーション精度を大幅に改善する手法を提案。
- Proto-CLIP: 少数ショット学習のための視覚言語プロトタイプネットワークVLA2023/7/1
CLIPの画像・テキスト埋め込みを少数ショット例で適応し、両者のプロトタイプを整合させて分類精度を高める少数ショット学習フレームワークを提案。
- SCENEREPLICA: 再現可能なシーン構築による実世界ロボットマニピュレーションのベンチマークマニピュレーション2023/6/1
YCB物体を用いて実世界でのピックアンドプレースを再現可能に評価するベンチマークを提案し、モデルベース/モデルフリーの6D把持アルゴリズムを比較評価した。
- 長期的なロボットインタラクションによる自己教師あり未知物体インスタンスセグメンテーションセグメンテーション2023/2/1
ロボットが物体を繰り返し押す動作から得た画像に多物体追跡と動画物体セグメンテーションを適用し、未知物体のセグメンテーションマスクを自己教師ありで生成するシステムを提案。実世界データで微調整することでセグメンテーション精度と把持性能が向上することを示した。
- 未見物体インスタンスセグメンテーションのためのMean Shift Mask Transformerセグメンテーション2022/11/1
微分可能なvMF平均シフトクラスタリングを模倣した超球面アテンション機構を持つTransformerを提案し、未見物体のインスタンスセグメンテーションで競争力のある性能を達成した。
- FewSOL: ロボット環境における少数ショット物体学習のためのデータセット少数ショット学習2022/7/1
336個の実物体を9視点から撮影したRGB-D画像とセグメンテーション・姿勢・属性情報、および330個の3Dモデルから生成した合成画像を収録したデータセットを構築し、少数ショット物体分類とセグメンテーションの性能を評価した。
- NeuralGrasps: 複数のロボットハンドの把持のための暗黙表現学習マニピュレーション2022/7/1
複数のロボットハンドによる把持を共有潜在空間に符号化し、物体と把持姿勢の符号付距離関数を学習することで、異なるグリッパ間や人間の手への把持転移や6D姿勢推定を可能にする手法を提案。
- HandoverSim: 人からロボットへの物体受け渡しのためのシミュレーションフレームワークとベンチマークsim2real2022/5/1
人からロボットへの物体受け渡しをシミュレーションするベンチマークを提案し、動作キャプチャデータを活用して訓練・評価環境を構築、複数のベースラインの性能を分析した。
- iCaps: カテゴリレベル物体の姿勢と形状の反復推定6D姿勢推定2022/1/1
深度画像からカテゴリ内の未知物体の6D姿勢を追跡し、符号付き距離関数に基づく潜在表現で3D形状を反復的に推定する手法を提案。
- 潜在プランを用いた階層的政策による混雑環境での把持マニピュレーション2021/7/1
部分点群観測から衝突のない目標駆動型6D把持を階層的に学習し、潜在空間で多様な把持軌道を生成・選択して実環境の混雑シーンにも汎化できることを示した論文。
- グラフニューラルネットワークによる混雑環境でのインスタンスマスク精緻化セグメンテーション2021/6/1
混雑した環境での物体インスタンス分割を改善するため、マスクをグラフ表現し、GNNで物体間関係を考慮してセグメンテーションを修正する手法を提案した論文。
- 透明物体の深度補完のためのRGB-D局所陰関数深度補完2021/4/1
単一のRGB-D画像から透明物体の欠損深度を補完するため、レイ・ボクセル対に基づく局所陰関数表現と自己修正型の反復精緻化を組み合わせた手法を提案し、合成・実世界データで従来法を大きく上回る精度と約20倍の高速推論を実現した。
- 長期的視覚ナビゲーションのための合成可能な行動埋め込みの学習視覚ナビゲーション2021/2/1
連続的な行動表現CBEを提案し、経路形状を捉えつつ未知障害物に頑健で、省メモリな経路追従とトポロジカルマッピングを実現した。
- 目標補助付きActor-Criticによる点群を用いた6Dロボット把持把持2020/10/1
物体の点群を入力に6D把持の閉ループ制御方策を学習する手法を提案し、模倣学習と強化学習を組み合わせた目標補助付きActor-Criticで未見物体への把持性能を向上させた。
- ロボット環境における未知物体のインスタンスセグメンテーションセグメンテーション2020/7/1
合成RGB-Dデータを用いて、テーブル上の未知物体を深度で初期マスク生成しRGBで精緻化するUOIS-Netを提案し、ロボット把持に応用した研究。
- 未見物体インスタンスセグメンテーションのためのRGB-D特徴埋め込み学習セグメンテーション2020/7/1
合成RGB-D画像からメトリック学習でピクセル単位の特徴埋め込みを学習し、mean shiftクラスタリングで未知物体をセグメンテーションする手法を提案した論文。
- LatentFusion: 未知物体の姿勢推定のための微分可能な再構成と描画姿勢推定2019/12/1
少数の参照視点から物体の潜在3D表現を再構成し、任意視点から描画するニューラルレンダラで入力画像の姿勢を直接最適化する、未知物体の6D姿勢推定フレームワークを提案した。
- オンライン把持生成と選択を統合した操作軌道最適化マニピュレーション2019/11/1
把持計画と軌道計画を分離せず、オンライン学習で把持目標姿勢を選びながら把持生成も同時に行う統合手法を提案し、混雑環境での把持動作計画の頑健性と効率を示した。
- 局所制御の能力測定で大規模トポロジカルナビゲーションを実現ナビゲーション2019/9/1
局所コントローラの能力を正確に測ることで、大規模環境でもスケーラブルで堅牢な視覚的トポロジカルナビゲーションを実現する手法を提案した論文。
- ロボットマニピュレーションのための自己教師あり6D物体姿勢推定6D姿勢推定2019/9/1
シミュレーションで学習したモデルを起点に、実世界画像へ正確な6D姿勢ラベルを自動付与し、物体の把持・押し動作でデータを継続収集しながら姿勢推定を自己教師ありで改善するロボットシステムを提案した。
- RGBと深度を別々に活用する未知物体インスタンスセグメンテーションセグメンテーション2019/7/1
合成RGBと合成深度を別々に用いる2段階手法を提案し、卓上環境の未知物体を高精度にセグメンテーションしてロボット把持に応用した。
- PoseRBPF：6D物体姿勢追跡のためのRao-Blackwellized粒子フィルタ物体姿勢推定2019/5/1
物体の3D回転と3D並進を分離し、回転空間を細かく離散化してオートエンコーダで特徴埋め込みのコードブックを構築することで、対称性を持つ物体でも高精度に6D姿勢を追跡する手法を提案した。
- リーマン運動ポリシーを用いたニューラル自律ナビゲーション自律ナビゲーション2019/4/1
画像から車両の制御点RMPを予測し解析的に最適制御指令を計算する深層学習ナビゲーション手法を提案し、実車での障害物回避と未知環境への汎化性能を実証した。
- 家庭用品の意味的ロボット把持のための深層物体姿勢推定姿勢推定2018/9/1
ドメインランダム化とフォトリアルな合成データのみで学習した単一RGB画像からの6DoF物体姿勢推定ネットワークを提案し、実ロボットによる家庭用品の把持を実現した。
- DeepIM：描画画像マッチングによる6D姿勢推定の反復的精緻化6D姿勢推定2018/4/1
初期姿勢から描画画像と観測画像をマッチングさせて6D姿勢を反復的に精緻化する深層ニューラルネットワークDeepIMを提案し、既存手法を大きく上回る精度を達成した。
- PoseCNN：混雑シーンにおける6D物体姿勢推定のための畳み込みニューラルネットワーク6D姿勢推定2017/11/1
物体中心の画像位置とカメラ距離から3D並進を、クォータニオン回帰で3D回転を推定するCNNを提案し、対称物体対応の損失関数と大規模YCB-Videoデータセットも公開した。
- データ関連付けRNNによる意味的3Dマッピング意味的マッピング2017/3/1
RGB-D動画から3Dシーンの地図構築と意味ラベリングを同時に行うDA-RNNを提案し、KinectFusionと統合して意味情報付き3D地図を生成した論文。
