Shan Luo
King's College London
収録論文 70本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- DexRemo：接触の多い除去操作のための力覚センシングハンドプラットフォームとタスクスイートマニピュレーション2026/11/11
高い力覚センシングを備えた3本指ロボットハンドと9つの実機タスクを開発し、視覚・固有感覚・指先力覚を融合する方策を学習させた。手首中心の力覚表現が安定性と汎化性能を向上させることを示した。
- TacHair: 触覚接触分布ガイドによるロボット毛髪ストロークと知覚のオンライン補正触覚2026/10/7
高解像度触覚を髪の接触分布として表現し、模倣方策の名目動作に残差補正を加えることで、変形・遮蔽された髪への接触維持ストロークを実現した。
- AVT-Fabric: 適応的証拠選択による能動的視触覚知覚で効率的なロボット布地比較触覚2026/9/18
RGB画像を起点に、比較の難易度に応じて触覚情報を追加取得するか判断する枠組みを提案し、布地比較タスクで高精度かつ効率的な視触覚推論を実現した。
- ロボットのための視覚ベース触覚知能：センシング、学習、身体化された操作触覚2026/8/16
視覚ベース触覚センサ（VBTS）のハードウェア、学習手法、シミュレーション、データセットを統合したレビュー論文。接触による変形を画像化するVBTSのパイプライン全体を俯瞰し、今後の課題と方向性を示す。
- VTLoc: 視覚点群における学習ベースの触覚接触位置推定触覚/視覚統合2026/7/1
触覚データと視覚点群を統合し、物体表面での接触位置を高精度に推定するフレームワークVTLocを提案した。幾何学的マルチモーダル整列と反復更新により、実世界100物体のベンチマークで精度を向上させた。
- HapTile: 接触を伴う模倣学習のための触覚情報を統合した視覚・触覚・言語・行動データセットデータセット/触覚/模倣学習2026/6/1
接触を伴う操作タスクの模倣学習向けに、指先触覚とオペレータへの触覚フィードバックを統合した視覚・触覚・言語・行動データセットを構築し、ベンチマーク評価も行った。
- 視覚-触覚を用いたペグ穴挿入の学習：ペグ引き抜き動作からの転移マニピュレーション2026/4/1
ペグ穴挿入作業を、より簡単な逆タスクであるペグ引き抜き動作の学習を利用して効率的に学習するフレームワークを提案。視覚と触覚の情報を統合し、成功率を向上させた。
- ViTac-Tracing: 変形物体のトレーシングのための視覚-触覚模倣学習模倣学習/触覚/変形物体2026/3/1
変形物体を1次元・2次元でトレースする統一モデルを、視覚と触覚の情報を組み合わせた模倣学習で実現した論文。局所的な触覚中心の接触維持と大域的なタスク進行の損失を導入し、低コスト遠隔操作システムに触覚を統合して汎用性と実世界での信頼性を向上させた。
- 単一視点点群からのエンドツーエンド器用把持学習：多物体シーンデータセットによるアプローチマニピュレーション2026/3/1
多物体シーンでの器用な把持を実現するため、単一視点の点群から把持構成を直接予測するエンドツーエンドネットワークDGS-Netと、それを訓練するための多物体シーンデータセットを提案した。
- UniMorphGrasp: 形態認識拡散モデルによるクロスエンボディメント巧みな把持生成マニピュレーション2026/2/1
多様なロボットハンドの把持を人間の手の標準ポーズに統一し、ハンド構造をグラフで条件付けた拡散モデルで、未知のハンドにも汎化する把持生成を実現した。
- UniForce: 多様な触覚センサに対応するロボットマニピュレーションのための統合力潜在モデル触覚2026/2/1
異なる触覚センサ間で共有される力の潜在空間を学習し、再学習なしでゼロショット転移可能な力認識マニピュレーションを実現する統合触覚表現フレームワークを提案。
- Vision-Language-Actionモデルの解剖学：モジュールからマイルストーン、課題までVLA2025/12/1
VLAモデルの基本構成から歴史的発展、そして表現・実行・汎化・安全性・データセットと評価という5大課題を整理したサーベイ論文。
- MagicSkin: 半透明スキンでマーカー有無のトレードオフを解消する視覚触覚センサ触覚2025/12/1
半透明の着色マーカーを触覚スキンに用いることで、マーカーあり・なしの両モードの長所を両立し、物体・テクスチャ分類、接線変位追跡、力予測を同時に高精度化した。
- SimTac：生体模倣構造を持つ視覚ベース触覚センシングの物理シミュレータ触覚2025/11/1
生体の触覚構造に着想を得た形状の触覚センサを設計・検証するための物理シミュレータを提案し、物体分類や滑り検出などのSim2Realタスクで有効性を示した。
- ViTacGen: 視覚から触覚を生成するロボット押し動作マニピュレーション2025/10/1
視覚画像から触覚情報（接触深度画像）を生成し、強化学習に統合することで、実触覚センサーなしでロボットの押し動作を実現するフレームワークを提案。
- TacEva：視覚ベース触覚センサの性能評価フレームワーク触覚2025/9/1
視覚ベース触覚センサ（VBTS）の性能を定量的に評価するためのフレームワークTacEvaを提案し、複数のセンサに適用して有効性を示した。
- CEDex: 人間らしい接触表現から大規模なクロスエンボディメント巧みな把持を生成マニピュレーション2025/9/1
人間の把持接触データを学習した生成モデルとロボット運動学を組み合わせ、任意のロボットハンド向けに人間らしい巧みな把持を大規模生成する手法を提案し、50万物体・2000万把持のデータセットを構築した。
- OVGrasp: マルチモーダル意図検出によるオープンボキャブラリ把握支援把持支援/外骨格/マルチモーダル2025/9/1
RGB-D視覚・オープンボキャブラリプロンプト・音声コマンドを統合し、未学習物体でもゼロショットで把持意図を推定するソフト外骨格型把持支援フレームワークを提案。
- Embodied Arena：具現化AIのための包括的・統合・進化型評価プラットフォーム評価基盤2025/9/1
具現化AIの能力を3階層・7能力・25次元で体系化し、22のベンチマークと30以上のモデルを統合評価する進化型プラットフォームを構築した。
- 触覚ロボティクス：展望触覚2025/8/1
触覚センシング技術の現状と課題を整理し、製造・医療・リサイクル・農業などへの応用に向けた今後の方向性を展望した論文。
- MLLM-Fabric：マルチモーダル大規模言語モデルによる布地の選別・選択ロボットフレームワークマニピュレーション2025/7/1
マルチモーダル大規模言語モデルを活用し、RGB画像と視触覚・圧力データから布地の特性をランク付けして選別・選択するロボットシステムを提案し、220種の布地データセットを公開した。
- ConViTac: 対照表現による視覚・触覚融合の整合触覚2025/6/1
視覚と触覚の入力を自己教師あり対照学習で統一潜在空間に射影し、クロスモーダル注意で融合を整合させる表現学習ネットワークを提案。実世界の材質分類と把持予測で最大12%の精度向上を達成した。
- 点群を用いたソフトハンド外骨格の把持制御把持/外骨格2025/4/1
深度知覚による点群から把持対象を予測し、幾何モデルに基づいてソフトハンド外骨格の次の制御状態を決定する視覚ベースの予測制御フレームワークを提案した。
- 透明物体把持支援のためのマルチモーダル軟体外骨格グローブMultiClearマニピュレーション2025/4/1
RGB-Dカメラとマイクを備えた軟体外骨格グローブで、視覚・聴覚・触覚を融合し透明物体の把持を支援するシステムを提案した。
- 触覚センサ間で力覚を相互学習させるフレームワークGenForce触覚2025/3/1
触覚信号を共通のマーカー表現に統一することで、あるセンサで学習した力予測モデルを他のセンサへ転移可能にし、把持や滑り検出などの力制御を実現した研究。
- ViTacTip：透明スキンと生体模倣チップを備えたロボットマニピュレーション用マルチモーダルセンサの設計とベンチマーク触覚2025/1/1
透明スキンと生体模倣チップで視覚・近接・触覚・力覚を同時に取得する小型センサViTacTipを設計し、GANによるモダリティ間変換と多タスク学習でその性能を実証した論文。
- ManiSkill-ViTac 2025：視覚と触覚を用いたマニピュレーション技能学習チャレンジ触覚2024/11/1
触覚と視覚を融合させた接触の多いマニピュレーション技能学習を競うチャレンジを開催し、触覚操作・視触覚融合・触覚センサ設計の3部門で評価する。
- ManiSkill3: 汎化可能な身体性AIのためのGPU並列ロボティクスシミュレーションとレンダリングsim2real2024/10/1
接触の多い操作タスク向けに、シミュレーションとレンダリングをGPUで並列化した高速ロボティクスシミュレータManiSkill3を開発し、12分野の多様なタスクとデモデータ、ベースラインを提供した。
- RoTip: 能動回転機能を備えた指型触覚センサ触覚2024/10/1
指型の視覚ベース触覚センサに独立制御の関節と回転機能を持たせ、柔軟物を含む物体操作を可能にした研究。
- TransForce: 視覚触覚センサのための画像変換による転移可能な力予測触覚2024/9/1
視覚触覚センサの画像と力のペアデータを、照明色やマーカーパターンの異なる新センサに転移し、時系列画像変換と再帰モデルでせん断方向を含む高精度な力予測を実現した。
- マーカーかマーカーレスか？多様なロボットタスクのためのモード切替可能な光学触覚センシング触覚2024/8/1
光学触覚センサのマーカー/マーカーレスモードを生成モデルと回帰モデルで相互変換し、単一センサで知覚と操作の両タスクを可能にした。
- Transformerベースの触覚制御方策による安定把持の学習触覚2024/7/1
触覚フィードバックから回転ずれや滑りを検出し、重心が未知で移動する物体に対して把持位置と把持力を同時に最適化するTransformer強化学習フレームワークを提案し、シミュレーションと実機でゼロショット転移を実現した。
- 視覚・音声・触覚のクロスモーダル検索に関するケーススタディマルチモーダル検索2024/7/1
視覚・音声・触覚の3モダリティを統合し、優勢モダリティ選択で表現の識別性を高めるクロスモーダル物体検索モデルVAT-CMRを提案した。
- 光学式触覚センサの力校正に向けた深層ドメイン適応回帰触覚2024/7/1
校正済みの光学式触覚センサから未校正のセンサへ力予測能力を転移する深層ドメイン適応手法を提案し、マーカーや照明、弾性体の違いを超えて高精度に3軸力を校正できることを示した。
- 視覚と触覚の融合：信号処理の観点から見た視触覚センサの最新レビュー触覚2024/6/1
視触覚センサを信号処理の観点から包括的にレビューし、ハードウェアだけでなく処理手法の重要性を示して今後の研究方向を展望した。
- RoTipBot: 回転可能な触覚センサを用いた薄く柔軟な物体のロボットハンドリング触覚2024/6/1
回転する触覚センサRoTipを指先に搭載し、薄く柔軟な物体を複数枚同時に把持・計数できるロボットシステムを開発した。従来法より高成功率かつ最大3倍高速に動作する。
- 視覚触覚センサを用いた柔軟接触シミュレーションと変形物体操作学習変形物体操作2024/5/1
視覚触覚センサをエンドエフェクタに用い、弾性・塑性・弾塑性変形を再現するシミュレータで強化学習と模倣学習を行い、実機へ転移して変形物体操作を90%の成功率で実現した。
- FOTS: 触覚-運動ロボット操作スキルのSim2Real学習のための高速光学触覚シミュレータ触覚2024/4/1
光学触覚センサの画像生成とマーカー運動を高速にシミュレートするFOTSを提案し、MuJoCoと統合してペグ挿しタスクでゼロショットSim2Real学習を実現した。
- PointGrasp：腱駆動ソフトロボットグローブのための点群ベース把持ソフトロボティクス2024/3/1
RGB-DカメラとIMUを腱駆動ソフトロボットグローブに統合し、3D点群から家庭内物体の形状を解析して把持対象をリアルタイムに特定するシステムを提案した。
- 未来観測生成による混雑環境での把持成功率推定マニピュレーション2024/3/1
把持成功を直接推定するモデルフリー手法と、自己教師あり予測モデルで把持後の未来画像を生成して推定するモデルベース手法を比較し、後者が82%と高い精度を示した。
- ViTacTip：生体模倣型の視覚・触覚融合センサの設計と検証触覚2024/2/1
透明な皮膚と生体模倣の突起を組み合わせ、視覚と触覚を1つのセンサに統合したViTacTipを開発し、格子識別・姿勢推定・接触位置と力の推定タスクで性能を評価した。
- 研究開発ラボにおけるロボット挿入タスクのためのマルチモーダルセンシング活用マニピュレーション2023/7/1
化学実験室でのバイアル瓶の挿入作業を自動化するため、視覚・力・触覚のマルチモーダルセンシングを組み合わせ、未知の位置への挿入を可能にする手法を提案した。
- 不完全な触覚データから学ぶ：マスク付きオートエンコーダによる触覚表現学習触覚2023/7/1
触覚画像の一部をマスクして再構成することで、接触が不十分で欠損のある触覚データからでも表面形状や触覚特性を理解する表現学習手法TacMAEを提案。
- 触覚テクスチャ認識のためのマルチモーダルゼロショット学習触覚2023/6/1
視覚情報と意味属性を組み合わせて触覚特徴を生成し、未学習の素材を触覚データなしで認識できるゼロショット学習フレームワークを提案した。
- 平面型を超えて：複雑形状の光学触覚センサのSim2Real学習のためのシミュレーション触覚2023/5/1
曲面形状のGelSight触覚センサをシミュレートするため、測地線経路に沿った光線追跡手法を提案し、指型GelTipセンサで実画像と比較して有効性を検証した。
- 透明物体のロボット知覚：レビュー知覚2023/4/1
透明物体のロボット知覚に関する研究を網羅的に調査し、セグメンテーション・再構成・姿勢推定の課題と将来方向、データセットの限界、マルチモーダルセンサの利点を議論したレビュー論文。
- Vis2Hap: 視覚からの触覚レンダリングをクロスモーダル生成で実現触覚2023/1/1
触覚センサなしで、物体の見た目から表面の粗さや滑りやすさを生成し、遠隔操作者に触覚提示する手法を提案。
- Tacchi: 光学触覚センサ向けのプラグイン可能で低計算コストなエラストマー変形シミュレータ触覚2023/1/1
Taichi言語を用いて粒子ベースでエラストマー変形を再現し、光学触覚センサの触覚画像を低計算コストで生成するプラグイン可能なシミュレータを提案。MuJoCoやGazeboと連携可能で、Sim2Real精度が向上。
- どこを触るべきか？透明物体把持のための視覚誘導型触覚プロービングマニピュレーション2022/8/1
透明物体を把持するため、セグメンテーションで触覚プローブ領域を予測し、GelSight触覚センサで局所形状を取得して把持計画を立てる手法を提案。把持成功率を38.9%から85.2%に向上させた。
- A4T: 透明物体の深度再構成と操作のための階層的アフォーダンス検出マニピュレーション2022/7/1
透明物体のアフォーダンスを階層的に検出し、その情報を用いて深度マップを段階的に再構成することで、透明物体の把持・操作を可能にするフレームワークを提案した論文。
- 視覚と触覚の融合による変形可能な線状物体の追従制御変形物体マニピュレーション2022/4/1
視覚と触覚を組み合わせた強化学習エージェントで変形する線状物体の追従タスクを初めて実現し、単一感覚より最大92%の成功率を達成した。
- 深層テクスチャ生成ネットワークによる触覚Sim2Realギャップの削減触覚/sim2real2021/12/1
シミュレーション触覚画像を実機の傷や製造誤差を再現した写実的画像へ変換するテクスチャ生成ネットワークを提案し、接触領域のみにアーティファクトを付与することでSim2Real分類精度の低下を抑える。
- 巧みな操作のためのマルチモーダル知覚マルチモーダル知覚2021/12/1
視覚と触覚の相互変換により疑似データを生成し、触覚テクスチャ認識に時空間注意機構を導入した研究。
- clutter環境での巧みな操作のためのGelTip触覚センサ触覚2021/12/1
指型の光学式触覚センサGelTipを開発し、表面のあらゆる方向の接触を検出できることを示した。把持の内外の接触を同時に監視できる利点を実験で実証した。
- 触覚センシングによる物体特性のロボット知覚触覚2021/12/1
ロボットの把持における触覚センシング研究を概観し、形状・姿勢・材質の知覚と把持安定性予測、視覚と触覚の協調による亀裂再構成の手法を紹介する。
- 視覚誘導型能動触覚知覚によるひび割れ検出と再構成触覚2021/5/1
RGB-D画像でひび割れの概形を検出し、その接触点を光学式触覚センサでなぞることで、視覚の不確実性を補いながらひび割れを高精度に検出・再構成する手法を提案した。
- 転がる光学式触覚センサTouchRoller：大面積の高速評価触覚2021/3/1
円筒形の光学式触覚センサを転がして対象面に接触し続けることで、大面積のテクスチャを平坦型センサより大幅に速く連続計測できるようにした研究。
- Sim2Real学習のためのGelSight触覚画像生成触覚2021/1/1
Gazeboシミュレータ上でGelSight触覚センサを模擬し、実機に近い高解像度触覚画像を生成する手法を提案した論文。
- 触覚テクスチャ認識のための時空間アテンションモデル触覚2020/8/1
触覚画像の空間的な注目領域と触覚系列の時間的相関の両方に着目する時空間アテンションモデルを提案し、布地テクスチャ100種の識別で認識精度を最大18.8%向上させた。
- GelTip：指型全方位光学触覚センサ触覚2020/8/1
指の形をした光学式触覚センサGelTipを提案し、表面の任意の位置で接触を検知できることを示した論文。接触位置の推定誤差は平均約5mm、最良で1mm未満を達成した。
- GelSight触覚センサと深層強化学習による表面追従触覚2019/12/1
GelSight触覚センサの生データからエンドエフェクタの動きを直接学習する深層強化学習手法を提案し、KUKA youBotで表面追従を実現した。
- 安全飛行：斥力場を用いた粒子群最適化によるドローン群制御群制御2019/7/1
粒子群最適化に斥力場を導入し、群れの衝突をゼロにしつつ目標探索を可能にした手法を提案し、実機ドローン群で実証した。
- GarmNet：局所認識で大域的な衣類折り畳みを改善するマニピュレーション2019/7/1
衣類の位置推定と把持用ランドマーク検出を同時に行うエンドツーエンド深層学習モデルGarmNetを提案し、ランドマーク検出の併用で位置推定誤差を24.7%低減した。
- 産業ロボットのための全畳み込みワンショット物体セグメンテーションワンショットセグメンテーション2019/3/1
単一のプロトタイプ画像から未知物体を検出する全畳み込みSiameseネットワークによるワンショットセグメンテーションを提案し、マルチタスク学習と弱教師あり特徴クラスタリングで訓練を効率化、RoboCup@Workで平均73%の未知物体識別と87.53%の把持成功率を達成した。
- 視覚と触覚の相互生成によるロボット知覚フレームワーク視触覚融合2019/2/1
布地のテクスチャ知覚を例に、条件付きGANで視覚画像と触覚データを相互に生成し、生成データの追加で分類性能が向上することを示した研究。
- 固有感覚と触覚を統合した形状認識手法iCLAP触覚2018/6/1
触覚データをクラスタリングしてラベル化し、センサ位置と合わせた4D点群で物体形状を認識するiCLAPを提案し、固有感覚・触覚の融合戦略も検証した論文。
- ViTac: 視覚と触覚の特徴共有による布地テクスチャ認識触覚2018/2/1
視覚画像とGelSight触覚画像から布地のテクスチャを認識するため、深層特徴を最大共分散分析で対応付けて共有潜在空間を学習するDMCA融合手法を提案し、90%超の認識性能を達成した。
- ロボットの触覚による物体特性認識：サーベイ触覚2017/11/1
ロボットの触覚センシング技術と、触覚情報から物体の形状・表面素材・姿勢を認識する研究動向を体系的に整理したレビュー論文。
- 触覚特徴と視覚マップの照合による物体接触位置の推定触覚・視覚統合2017/8/1
視覚画像と触覚センサの読み取りを共通の特徴記述子で対応付け、再帰的ベイズフィルタで触覚接触位置を視覚マップ上に推定する枠組みを提案した。
- 触覚物体形状認識のための反復最近傍ラベル付き点群触覚2017/8/1
触覚特徴にラベルを付けて4D点群とし、参照モデルと反復照合することで物体を認識するiCLAPを提案し、20物体の実験で単一感覚より最大18%高い認識率を示した。
