Lin Shao
National University of Singapore
収録論文 60本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ManiLadder：カテゴリ別・多難易度タスクラダーによるロボットマニピュレーションのベンチマークマニピュレーション2026/11/12
112タスクを4難易度・8カテゴリに階層化した大規模シミュレーションベンチマークを構築し、同一条件の模倣学習ポリシーで難易度を校正して実機でも順序性を検証した論文。
- VOKE: 巧みな把持内操作のための視覚的物体キネマティクス推定器把持内操作2026/11/12
既存の物体・手物体姿勢推定器に接続して、物体の姿勢・速度・加速度を含む完全な運動状態を推定する視覚ベースのキネマティクス認識フレームワークを提案し、姿勢推定精度の向上と速度・加速度誤差の低減を実現した。
- Elastic-WAM：効率的なロボット制御のための適応的時空間想像VLA2026/11/10
World-Action Modelの推論コストを削減するため、タスクや状態に応じて未来の映像精緻化の深さと領域を適応的に配分する手法を提案し、制御性能を維持しつつ遅延を低減した。
- 物体中心の世界モデルを大規模3D全物体フローデータセットでスケールアップするObjectWorld世界モデル2026/11/8
物体表面全体（遮蔽領域含む）に密な3D軌道を割り当てる「3D全物体フロー」表現と、1210時間の大規模データセットを構築し、画像とタスク記述から全物体フローを予測する世界モデルを学習した研究。
- WorldFlow：大規模事前学習による動画と3D運動の同時予測世界モデル2026/10/29
動画とクエリベースの3D軌道を同時に生成する世界モデルを提案し、144万サンプルで学習して3D運動予測精度で既存手法を大きく上回った。
- 見ることと想像することを一つに：身体性世界モデリングのための統合動画生成と4D知覚身体性世界モデル2026/10/29
動画拡散トランスフォーマーを基盤に、将来動画の生成と深度・セグメンテーション・フローなどの密な4D知覚を単一モデルで統合したGenSightを提案し、ロボット操作データで両タスクの高性能を示した。
- 接触の展開を見せて巧みな技能を転移する接触模倣インターフェースマニピュレーション2026/10/29
ロボットなしの人間実演から接触に基づく観察と行動を生成し、接触面計画と制御を階層化してロボットハンドへ巧みな操作技能を転移するフレームワークCIMIを提案した。
- 夢見たことを実現：長期的ロボット操作のためのスパース視覚計画視覚計画2026/10/18
動画モデルをスパースな視覚サブゴール計画に接地させる階層型ポリシーDreamCanを提案し、長期的な操作タスクで高い成功率を達成した。
- 混雑環境での大規模クロスエンボディメント巧みな把持マニピュレーション2026/10/18
8種の巧みなハンドと約5万物体にわたる約5億の把持アノテーションを備えた大規模シミュレーションベンチマークを構築し、混雑環境でのクロスエンボディメント把持合成の拡散モデルT(R,O) Grasp++を提案した。平均成功率88%、推論遅延0.3秒を達成。
- 品質を考慮したVLA事前学習で重要な要素は何か：ベンチマークと実証研究VLA2026/10/13
VLA事前学習におけるデモ品質の活用法（重み付け・フィルタリング・条件付け）を比較し、品質タグの役割を検証するAXIS-Benchを提案。実世界実験で成功率が9.6%から31.7%に向上。
- DexMimic：価値誘導リセット割当による汎用器用ハンド物体追跡ポリシーマニピュレーション2026/10/13
人間の手と物体の相互作用データから、多様な軌道を追跡できる汎用器用ハンドポリシーを学習する手法を提案し、実機検証まで行った。
- OpenWAM: 体系的な世界行動モデル事前学習に向けたオープンでモジュール型の探求VLA2026/9/7
世界行動モデルの設計空間をモジュール化し、制御実験を通じて設計原則を抽出・検証するオープンな研究基盤を構築した。
- ロボットから人への物体受け渡しを堅牢にする能動的接触センシングマニピュレーション2026/5/1
ロボットが物体を人に渡す際、人がしっかり握ったかどうかを能動的な動きと力センシングで推定し、誤ったタイミングでの解放を防ぐ手法を提案。実験で97.5%の成功率を達成した。
- FingerEye: 連続的な視覚-触覚センシングによる器用な操作の学習器用操作/触覚/視覚-触覚融合2026/4/1
指先にカメラと変形可能な接触インターフェースを統合し、接触前後の連続的な視覚-触覚フィードバックで器用な操作を学習するフレームワークを提案。グループ構造化モダリティ融合により、シミュレーションと実世界の両方で成功率を大幅に向上させた。
- RL強化テレオペレーションと巧みな専門家混合VLAによる人間らしい操作の実現VLA/巧緻操作/触覚2026/3/1
高自由度の両手巧緻操作を可能にするため、RLで訓練した原子スキルによるデータ収集支援と、触覚・力覚を統合したVLAアーキテクチャを提案し、接触を伴う複雑タスクで成功率を2倍に向上させた。
- RoTri-Diff: 空間的なロボット-物体三者間相互作用に基づく両腕操作のための拡散モデル両腕操作/拡散モデル/模倣学習2026/3/1
両腕と操作対象物の間の相対的な6D姿勢を符号化した三者間相互作用表現を導入し、階層的拡散過程で軌道生成する模倣学習フレームワークを提案。シミュレーションと実機で高い性能を実証した。
- ContactExplorer: 接触カバレッジ誘導による汎用巧みなマニピュレーションの探索マニピュレーション2026/3/1
物体表面と手指の接触パターンをカウントベースで探索し、未探索の接触領域へ誘導する強化学習手法を提案し、巧みなマニピュレーションのサンプル効率と成功率を向上させた。
- Bi-Adapt: 意味的対応による新規カテゴリ3D物体への少数ショット両手操作適応マニピュレーション2026/2/1
視覚基盤モデルを活用してカテゴリをまたぐアフォーダンス対応を学習し、新規カテゴリの物体に対する両手操作を少数データで効率的に汎化させるフレームワークを提案した。
- DexRepNet++：幾何学的・空間的な手と物体の表現を用いた器用なロボットマニピュレーションの学習マニピュレーション2026/2/1
手と物体の表面特徴と空間関係を捉える新表現DexRepを提案し、把持・回転・受け渡しの器用な操作タスクで高い汎化性能と実機移行性を実現した。
- ManiLong-Shot: 長期的操作のためのインタラクション認識ワンショット模倣学習模倣学習2025/12/1
物理的インタラクションイベントに基づいて長期的タスクをプリミティブに分解し、VLMやルールベースの推論でワンショット模倣学習を実現するフレームワークを提案。
- LISN: VLMベース制御器調整による言語指示型ソーシャルナビゲーションソーシャルナビゲーション2025/12/1
言語指示に従い社会的規範を守るソーシャルナビゲーションのベンチマークLISN-Benchを構築し、VLMがコストマップと制御パラメータを調整する階層型手法を提案した。
- AdaptPNP: 把持・非把持スキルを統合した適応的ロボットマニピュレーションマニピュレーション2025/11/1
VLMを用いて把持と非把持（押す・つつく等）の動作を組み合わせた計画を生成し、デジタルツインで予測しながら実環境でも適応的に再計画するマニピュレーション枠組みを提案した論文。
- ShapeForce：接触の多いマニピュレーションのための低コスト柔軟ロボット手首触覚2025/11/1
人間が接触時の相対的な力変化を利用することに着想を得て、柔軟コアの変形をマーカー追跡で推定し力覚信号を生成する低コストでプラグアンドプレイな柔軟手首を提案。6軸力覚センサに匹敵する性能を接触の多いタスクで実現した。
- Manual2Skill++: コネクタを考慮した指示書からの汎用ロボット組立組立/マニピュレーション2025/10/1
組立指示書から視覚言語モデルで接続情報を抽出し、部品と接続関係を階層グラフで表現してロボット組立を実行するフレームワークを提案。
- T(R,O) Grasp：ロボットと物体の空間変換をグラフ拡散で生成するクロスエンボディメント巧みな把持マニピュレーション2025/10/1
ロボットハンドと物体の空間変換を統一的に表現するグラフ拡散モデルを提案し、多様なハンドで高成功率・高速な把持生成を実現した。
- OWMM-Agent：マルチモーダルなエージェントデータ合成によるオープンワールド移動マニピュレーション移動マニピュレーション2025/6/1
オープンワールド移動マニピュレーションのためのマルチモーダルエージェントアーキテクチャと、VLMをファインチューニングするデータ合成パイプラインを提案し、実世界でSOTA性能と汎化を実現した。
- VLA-OS：視覚言語行動モデルにおける計画表現とパラダイムの構造化と分析VLA2025/6/1
VLAモデルの計画パラダイムと表現を統一的に比較するVLA-OSを提案し、視覚接地表現が言語表現より優れ、階層型VLAが性能・汎化・拡張性で優位だが速度が遅いことを示した。
- Goal-VLA: 画像生成VLMを物体中心の世界モデルとして活用するゼロショットロボットマニピュレーションVLA2025/6/1
画像生成型VLMを世界モデルとして使い、目標状態の画像を生成して物体姿勢を導出することで、追加学習なしに多様な操作タスクを実現するフレームワークを提案。
- DexSinGrasp: 密集した clutter 環境における巧みな物体分離と把持のための統合ポリシーの学習マニピュレーション2025/4/1
多自由度の巧みなハンドを用いて、密集した clutter 環境で物体を分離しながら把持する統合ポリシーを学習し、カリキュラム学習とポリシー蒸留により効率と成功率を向上させた。
- MetaFold: 軌道生成と基盤モデルによる言語誘導型多カテゴリ衣類折り畳みフレームワークマニピュレーション2025/3/1
衣類折り畳みタスクにおいて、タスク計画と言語誘導の点群軌道生成、低レベル基盤モデルによる行動予測を分離して学習し、多カテゴリの衣類や多様な指示に適応できるフレームワークを提案した。
- Manual2Skill: 視覚言語モデルを用いた家具組立のための説明書読解とロボットスキル獲得マニピュレーション2025/2/1
VLMで説明書画像から組立情報を抽出し、階層的な組立グラフと6D姿勢推定・動作計画を組み合わせて、ロボットがIKEA家具を組み立てられるようにしたフレームワーク。
- FLIP: フロー中心の生成的計画による汎用マニピュレーション世界モデルマニピュレーション2024/12/1
画像フローを汎用行動表現として使い、フロー生成・動画生成・視覚言語価値モデルを組み合わせて長期的な操作計画を立案する世界モデルを提案した。
- TelePreview: 仮想アーム支援による使いやすい遠隔操作システム遠隔操作2024/12/1
人間の入力を基にロボット動作をリアルタイムで仮想表示し、安全かつ直感的に教示データを収集できる低コスト遠隔操作システムを提案。
- EMOS: 身体性を考慮した異種マルチロボットOSとLLMエージェント群制御2024/10/1
異種ロボット群がURDFから自身の身体能力を理解し、LLMエージェントが協調して操作・知覚・ナビゲーション・物体再配置を行うフレームワークとベンチマークを提案。
- D(R,O) Grasp：ロボットと物体の相互作用を統一的に表現するクロスエンボディメント巧みな把持マニピュレーション2024/10/1
ロボットハンドの記述と物体の点群を入力とし、様々なハンドと物体形状に対応する安定した把持を高速に予測するフレームワークを提案。シミュレーションと実機で高い成功率を示した。
- 幾何学的不確かさ下での安定物体配置のための微分可能接触ダイナミクスマニピュレーション2024/9/1
接触ダイナミクスの微分可能シミュレーションを用いて、力覚センサの読みから物体の姿勢や形状の不確かさを推定し、ロボットアームによる安定した物体配置を実現する手法を提案。
- TieBot: 実世界-シミュレーション-実世界アプローチによる視覚デモンストレーションからのネクタイ結び学習変形物体マニピュレーション2024/7/1
ネクタイの変形と長期的な操作が難しいネクタイ結びを、実演動画からメッシュ列を推定し、教師方策と生徒方策を学習して実機に転移するReal-to-Sim-to-Realシステムを提案。実機で双腕ロボットが10回中5回成功。
- 接触合成に基づく汎用ロボットマニピュレーション基盤モデルマニピュレーション2024/5/1
物体とロボットの点群・物性・目標運動を入力し、接触点と接触力を出力することで、多様な物体の操作を統一的に扱う基盤モデルを提案した。
- 自己整合による大規模言語モデルを用いたロボットスキルの報酬学習報酬学習2024/5/1
LLMが提案した報酬関数を、実行フィードバックに基づく自己整合プロセスで反復的に調整し、人間なしで効率的にロボットスキルの報酬を学習する手法を提案した。
- RiEMann: 点群セグメンテーション不要の準リアルタイムSE(3)同変ロボットマニピュレーションマニピュレーション2024/3/1
シーン点群から対象物をセグメンテーションせずに直接操作目標姿勢を予測するSE(3)同変な模倣学習フレームワークを提案し、5〜10回のデモで学習して未知のSE(3)変換や妨害物体に頑健、準リアルタイムで動作することを示した。
- SoftMAC: 予測ベース接触モデルと関節剛体・布との双方向連成を備えた微分可能ソフトボディシミュレーションsim2real2023/12/1
MPMによるソフトボディを関節剛体や布と双方向に連成させ、予測ベースの接触モデルで貫入を抑える微分可能シミュレータSoftMACを提案し、ロボットマニピュレーションで有効性を検証した。
- 大規模言語モデルによる汎化可能な長期的マニピュレーションマニピュレーション2023/10/1
LLMを用いて新規物体や未見タスクに対応するためのプリミティブタスク条件を生成し、DMP軌道を調整することで長期的なロボットマニピュレーションを実現するフレームワークを提案した。
- Diff-Transfer: 微分可能物理シミュレーションによるモデルベースのロボットマニピュレーションスキル転移マニピュレーション2023/10/1
微分可能物理シミュレーションを活用し、習得済みのロボットスキルを類似した新規タスクへ効率的に転移するフレームワークDiff-Transferを提案。タスク空間内の経路をQ学習で計画し、隣接サブタスク間で勾配情報に基づき動作を適応させる。
- Jade: 非貫通摩擦接触を扱う関節剛体向け微分可能物理エンジンsim2real2023/9/1
接触をLCPとしてモデル化し、連続衝突検出とバックトラッキングで非貫通を保証しつつ、複数摩擦接触でも安定な解が得られる微分可能物理エンジンを提案した論文。
- GAMMA: 多様な関節物体の汎用的な関節モデリングと操作マニピュレーション2023/9/1
多様な関節物体から関節モデリングと把持姿勢を学習し、適応的操作で誤差を低減するフレームワークGAMMAを提案。未見・カテゴリ横断の物体で既存手法を大きく上回る。
- ClothesNet: 情報豊富な3D衣服モデルリポジトリとシミュレーション衣服環境衣服操作/シミュレーション2023/8/1
11カテゴリ約4400体の3D衣服モデルに特徴・境界線・キーポイントを注釈付与した大規模データセットを構築し、衣服の認識ベンチマークとロボット操作(折り畳み・吊り下げ・着衣など)のシミュレーション環境を提供した。
- DexRepNet: 幾何学的・空間的な手と物体の表現を用いた器用なロボット把持ネットワークの学習マニピュレーション2023/3/1
手と物体の相互作用を捉える新しい表現DexRepを提案し、それを用いた強化学習で未知物体にも汎化する高成功率の多指把持方策を実現した。
- SAM-RL: 微分可能な物理シミュレーションとレンダリングによるセンシング認識型モデルベース強化学習モデルベース強化学習2022/10/1
微分可能な物理シミュレーションとレンダリングを活用し、実画像とレンダリング画像を比較してモデルを自動更新することで、効率的に方策を学習するモデルベース強化学習システムを提案し、組立・工具操作・変形物体操作の実世界タスクで有効性を示した。
- RoboAssembly：多ロボット接触リッチ環境で家具組み立てを学習マニピュレーション2021/12/1
家具組み立てを強化学習問題として定式化し、多ロボット接触リッチなシミュレーション環境で多様な椅子の組み立てを学習する手法を提案。未見の椅子でも物体中心設定で74.5%、フル設定で50.0%の成功率を達成。
- SAGCIシステム：サンプル効率・汎化・合成・逐次学習を目指すロボット学習フレームワークマニピュレーション2021/11/1
カメラの点群から環境をURDFとしてモデル化し、微分可能シミュレーションと対話的知覚を組み合わせて、関節物体操作のポリシーを効率的に学習するシステムを提案した。
- 置くことを学んで掴み直すことを学ぶマニピュレーション2021/9/1
物体と周囲環境の部分点群を入力に、ピックアンドプレース操作の系列を生成して初期把持姿勢を目標把持姿勢へ変換するシステムを提案。安定配置予測器と再把持グラフ探索を組み合わせ、シミュレータと実機で有効性を示した。
- OmniHang: 接触点対応とニューラル衝突推定による任意物体の吊り下げ学習マニピュレーション2021/3/1
物体と支持物の部分点群から安定な吊り下げ姿勢と接触点対応を推定し、強化学習で姿勢を精緻化、ニューラル衝突推定で衝突のない経路を計画するシステムを提案した。
- 実機ロボットチャレンジのための巧みな操作プリミティブマニピュレーション2021/1/1
把持・回転・再配置の3プリミティブにタスクを分解し、モデルベースの軌道最適化と状態機械で実機の直方体操作を堅牢に実行した。
- 自己誘導・自己正則化アクタークリティック強化学習2020/9/1
ターゲットネットワークを使わずにTD学習の発散を抑える自己正則化手法と、方策勾配にゼロ次最適化を組み合わせてQ値の高い行動を探索する自己誘導型の方策改善を提案し、OpenAI Gymで高い性能を示した。
- 指先ローラーで物体を操る把持器V2の設計と制御マニピュレーション2020/4/1
指先に2自由度の球状ローラーを備えた非人間型把持器を開発し、把持物体の位置・姿勢を器内で操作できることを示した。
- 単一画像からの3D部品組み立て学習組み立て/3D姿勢推定2020/3/1
完成した家具の1枚の画像と部品一式から、各部品の3D姿勢と組み立て関係を推論して組み立てる手法を提案した論文。
- 環境改変によるロボットマニピュレーション技能学習の足場づくりマニピュレーション2019/11/1
ロボットが環境に固定具を配置して接触制約を作り、不確実性を抑えながらマニピュレーション技能の学習を加速する二重ループ学習システムを提案し、実機とシミュレーションで有効性を示した。
- UniGrasp：多指ロボットハンドのための統合把持学習モデルマニピュレーション2019/10/1
物体の点群とハンドの属性を入力とし、力閉包かつ到達可能な接触点集合を予測することで、多様な多指ハンドに転移可能な把持合成を実現した。
- ClusterNet: RGB-D画像における3Dインスタンスセグメンテーション3Dセグメンテーション2018/7/1
RGB-D画像から物体ごとの位置・形状・数を推定するインスタンスセグメンテーション手法を提案し、各ピクセルが物体中心・サイズ・姿勢に投票するネットワークとモーメント空間でのクラスタリングで高精度を実現した。
- 密なRGB-Dシーンフローに基づく動きベース物体セグメンテーション物体セグメンテーション2018/4/1
連続するRGB-D画像から剛体物体の動きを推定し、物体セグメンテーション・運動軌跡・シーンフローを同時に求める深層学習モデルを提案し、ロボット操作向けの新規合成データセットで従来手法を上回る性能を示した。
