He Wang
Peking University
収録論文 100本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 即時触覚反射を全身ヒューマノイド制御にボトムアップ統合するReflexArc触覚2026/11/3
全身触覚から危険接触を検知し10ms以内に反射的な退避姿勢をモータへ直接指令する反射経路と、それを学習済み全身制御に統合する枠組みを提案し、Unitree G1で力ピークを34%低減した。
- HumanoidNDM：ヒューマノイド神経力学モデルによる動作追従の訓練-実環境ギャップの解消sim2real2026/10/25
実環境で学習した神経力学モデルを用い、モーションキャプチャ不要でヒューマノイドの動作追従ポリシーをオンライン微調整する枠組みを提案し、Unitree G1で外乱への適応を実証した。
- 物理的RSI能力はどこから来るのか：LLM-as-policyの観測的スケーリング則VLA2026/10/19
VLMエージェントの物理的再帰的自己改善を5軸指標で評価し、公開ベンチマーク性能から改善の速さと到達度を予測する観測的スケーリング則を導出した研究。
- CQDC-Warp: 接触の多いマニピュレーションのためのGPU加速微分可能準動的シミュレーションマニピュレーション2026/10/15
GPU上で並列に動作する微分可能な準動的シミュレータを開発し、接触を考慮した軌道最適化を高速化。Allegroハンドの回転タスクで成功率79.8%を達成し、従来手法より27〜50倍高速化した。
- Uni-PNP：把持・非把持動作を統合した汎用物体姿勢到達ポリシー学習マニピュレーション2026/10/15
把持と非把持の操作を単一ポリシーで統合学習し、多様な物体・グリッパで物体姿勢到達を実現する手法を提案。
- World Action Modelsに必要な視覚表現とは何かVLA2026/10/9
World Action Modelにおける視覚表現・統合機構・特徴量の組み合わせを体系的に比較し、汎用視覚表現とチャネル単位の同時予測が有効であることを示した上で、最適な構成をR²-WAMとして実装した論文。
- DualWAM: 非同期グローバル計画と局所修正のためのデュアルシステム世界行動モデルVLA2026/9/21
グローバル計画と手首視点による局所修正を非同期に分離し、高頻度な閉ループ制御を可能にした世界行動モデル。FrankaとGalbotでのゼロショット操作で成功率を平均4.5ポイント向上させ、16.6倍の高速化を実現。
- PASSAGE: 雑然環境における知覚型ヒューマノイド移動のためのシーン整合運動学習のスケーリング歩行2026/9/16
VRと慣性モーションキャプチャで収集した1500の雑然シーンにおける100時間の人間動作データを用い、条件付きフローマッチングプランナと全身トラッカーを組み合わせて、未知の障害物環境でもヒューマノイドが知覚に基づき踏み越え・すり抜け・くぐり抜けを選択・実行できる枠組みを提案。
- Bench2Dex: 多様な器用ハンドにおける視触覚両手マニピュレーションのベンチマークマニピュレーション2026/9/14
12種類の器用ハンドに対応した共通の触覚インターフェースを備えるシミュレーションベンチマークを構築し、26の両手操作タスクと約1.3Kのテレオペデモを提供して視触覚マニピュレーションを評価可能にした。
- FoldNet++：ロボットによるTシャツ折り畳み・展開のための大規模合成データセット変形物体マニピュレーション2026/9/11
6種類のロボット、1000枚のTシャツ、12万エピソードを含む合成データセットを構築し、実環境で90%以上の成功率を達成した研究。
- UniPart: 実世界インタラクションのためのゼロショット言語接地3Dパーツセグメンテーション3Dセグメンテーション2026/9/11
自由なテキスト指示から点群上の機能パーツを切り出すクロスモーダル3D Transformerを提案し、大規模データセット構築によりゼロショット性能と実機把持への転移を実現した。
- CASD: チャンク整合セマンティック蒸留による多段階ロボット操作マニピュレーション2026/9/8
行動チャンク全体に対するセマンティックな目標を生成し、ポリシー学習を改善する手法を提案。オフラインVLMでデモを段階に分割し、その重み付き目標を予測するジェネレータを訓練し、ポリシーを条件付けする。
- GIF: ロボット学習のための対話的・機能的オブジェクト構成のエージェント生成データ生成2026/9/5
ロボット操作の基盤モデル学習用に、対話的で機能的なオブジェクト構成を自動生成するエージェントフレームワークGIFを提案。2D/3D生成モデルとVLM検証を組み合わせ、衝突率1%未満で高品質なシーン生成を実現し、シミュレーションと実世界でのポリシー学習に有効性を示した。
- ZETA: テーブルトップ操作におけるゼロショット・クロスエンボディメントVLA転移の統制研究VLA/転移学習2026/9/2
異なるロボット形態へのゼロショット転移を体系的に評価するため、厳密な定義と統制ベンチマークを導入し、状態表現・事前学習の多様性・補助学習・対象形態の露出の影響を分析した。
- RoboGesture: 人間型ロボットのためのリアルタイム意味整合型共話ジェスチャ生成ヒューマノイド/ジェスチャ生成2026/8/27
人間型ロボットが音声に同期し意味的に適切なジェスチャをリアルタイム生成するフレームワークを提案。データセット構築、モデル設計、安全制御を統合し、実機で検証した。
- PACE: 時間効率的な具現化計画のための適応予算配分計画2026/8/1
推論と実行をインターリーブし、実行時間に合わせて推論トークン予算を動的に調整することで、具現化計画の推論遅延を大幅に削減するフレームワークを提案した。
- HumanTracker：人間の知覚に整合した包括的なモーション追跡ベンチマークモーション追跡2026/8/1
ヒューマノイドのモーション追跡評価を人間の知覚に整合させ、大規模化するためのベンチマークと評価指標を提案した論文。
- WAM-TTT: テスト時に人間のプレイを見てワールドアクションモデルを操縦するVLA2026/7/1
人間の動画を模倣するのではなく、自己教師あり動画予測で凍結したワールドアクションモデルに軽量な適応メモリとして吸収し、テスト時に未ラベルの人間動画だけでロボットの行動を操縦するフレームワークを提案した。
- 人型ロボットのためのスケーリング行動基盤モデル人型ロボット制御2026/7/1
人型ロボットの制御を大規模行動データで学習する行動基盤モデル（BFM）のスケーリング手法を提案し、学習パラダイム、データ、モデル構造の協調により性能が向上することを示した。
- Humanoid-GPT: データと構造のスケーリングによるゼロショット動作追跡全身制御2026/6/1
大規模な動作コーパスで事前学習したGPTスタイルのTransformerを用いて、人型ロボットの全身制御とゼロショット動作追跡を実現した論文。
- LIMMT: モーショントラッキングには少ない方が良いモーショントラッキング2026/6/1
物理ベースのヒューマノイドモーショントラッキングにおいて、データ品質（物理的実現可能性、多様性、複雑さ）に基づいてデータを選別することで、全データセットの3%未満のデータでより良い追跡性能を達成できることを示した初のデータ中心的研究。
- KPGrasp: 器用な把持生成のためのスケーラブルなキーポイントフローマッチングマニピュレーション2026/6/1
接触損失やテスト時の接触ベースの改良に頼らず、大規模データから器用な把持の事前分布を学習するフローマッチングフレームワークを提案した。
- AllDayNav: 実世界強化学習による生涯ナビゲーションナビゲーション2026/6/1
動的環境での生涯ナビゲーションのために、明示的な地図やシーングラフを使わず、大規模モデルに強化学習でシーン動態を暗黙的に符号化し、自己進化するマルチモーダルメモリで長期動作を実現するフレームワークを提案した。
- 運転シーン生成のための物理認識3Dガウシアン編集自動運転シミュレーション2026/5/25
道路形状の編集と車両ダイナミクスを統合し、物理的に整合性のある運転シーン生成を実現するシステムを提案。
- HDFlow: 長期的タスクのための階層的拡散フロープランニングプランニング2026/5/1
拡散モデルと整流フローモデルを階層的に組み合わせ、長期的な家具組み立てなどのタスクを効率的に計画する手法を提案した。
- DexJoCo: MuJoCo上でのタスク指向巧みな操作のためのベンチマークとツールキット巧みな操作2026/5/1
巧みなロボットハンドの操作能力を評価するための、11の機能ベースのタスクとデータ収集システムを含むベンチマークとツールキットを提案し、現代のモデルの性能を分析した。
- 適応的Qチャンキングによるオフラインからオンラインへの強化学習強化学習2026/5/1
オフラインからオンラインへの強化学習において、状態ごとに最適なアクションチャンクサイズを適応的に選択する手法を提案し、固定サイズの既存手法より高い成功率を達成した。
- BiDexGrasp: 物体の形状とサイズを考慮した協調的な両手巧みな把持マニピュレーション2026/4/1
両手ロボットハンドによる巧みな把持のための大規模データセットと生成モデルを提案し、効率的なデータ合成パイプラインと協調・適応的な把持生成フレームワークを構築した。
- 不完全な人間のモーションデータから学ぶアスリート級ヒューマノイドテニススキルヒューマノイド/模倣学習/sim2real2026/3/1
不完全な人間のテニス動作断片からヒューマノイドがテニススキルを学習し、実機で人間とラリーを続けられるようにするシステムを提案した。
- SPAN-Nav: 多様な視覚言語ナビゲーションのための汎用空間認識VLA2026/3/1
RGB動画から占有予測で空間事前知識を学習し、単一トークンで空間手がかりを行動推論に注入する視覚言語ナビゲーション基盤モデルを提案。
- 散らかった環境における動力学を考慮した方策学習による外在的器用さの創発マニピュレーション2026/3/1
散らかった環境での物体操作に向け、接触による物体動力学を明示的にモデル化して強化学習の方策を条件付けるDAPLフレームワークを提案し、シミュレーションと実世界で従来手法を上回る成功率を達成した。
- Seed2Scale: 小規模・大規模モデルの協調とマルチモーダル評価による身体化AIの自己進化型データエンジンVLA/データ生成2026/3/1
少数のシードデモから始め、小型モデルでデータ収集し大型モデルで評価する自己進化型データエンジンを提案し、データ不足とモデル崩壊を克服して成功率を大幅に向上させた。
- TacDexGrasp: 触覚フィードバックによる柔軟で堅牢な器用把持器用操作/触覚2026/3/1
触覚フィードバックとSOCP制御器を用いて、多指ハンドによる未知物体の把持安定性を向上させる手法を提案。回転滑りが並進滑りを誘発する性質を利用し、各指の接線力と法線力の比を摩擦係数以下に制御することで、並進・回転滑りを防ぐ。
- NavGSim: 大規模ナビゲーションのための高忠実度ガウススプラッティングシミュレータシミュレーション2026/3/1
3Dガウススプラッティングに基づく大規模ナビゲーション向けの高忠実度シミュレータを提案し、実環境でのVLAモデルのナビゲーション性能を向上させる。
- GraspADMM: ADMM最適化による巧みな把持合成の改善マニピュレーション2026/3/1
物体上の目標接触点と手の実際の接触位置をADMMで分離し、把持の多様性を保ちながら動的安定性と運動学的実現可能性を両立させる把持合成フレームワークを提案した。
- LDA-1B：汎用身体データ取り込みによる潜在ダイナミクス行動モデルのスケーリングVLA2026/2/1
異種の身体データからダイナミクス・方策・視覚予測を統合学習する10億パラメータのロボット基盤モデルを提案し、接触・器用・長距離タスクで性能を向上させた。
- Any3D-VLA：多様な点群によるVLAのロバスト性向上VLA2026/2/1
シミュレータ・センサ・モデル推定の点群を統合して学習し、2D表現と融合することで、VLAモデルの性能とドメインギャップ耐性を高める手法を提案。
- StereoVLA: ステレオ視で視覚言語行動モデルを強化VLA2025/12/1
大規模合成ステレオデータから幾何学的手がかりを取り入れた初のVLAモデルを提案し、精密な空間認識と視点ロバスト性を実現した。
- RoboCOIN: 統合マニピュレーションのためのオープンソース両腕ロボットデータ収集マニピュレーション2025/11/1
15種類のロボットプラットフォームから18万件以上の両腕操作デモを集めた大規模データセットを構築し、階層的な注釈とデータ処理パイプラインを提供した。
- 一般物体に対するロバストな微分可能衝突検出マニピュレーション2025/11/1
凸凹物体に対応した微分可能な衝突検出フレームワークを提案し、距離ベースの平滑化と適応サンプリングで勾配計算を安定化、把持合成に応用した。
- TrackVLA++：具現化視覚追跡のための推論と記憶能力を引き出すVLAモデルVLA2025/10/1
移動する対象を追跡する具現化視覚追跡において、空間推論と長期記憶のモジュールを導入し、遮蔽や類似物体に強いVLAモデルを提案した。
- MM-Nav: マルチビューVLAモデルによるマルチエキスパート学習を用いた堅牢な視覚ナビゲーションVLA2025/10/1
360度視野のマルチビューVLAモデルを強化学習エキスパートのデータから教師あり学習し、到達・すり抜け・回避の能力を統合して実世界でも汎化する視覚ナビゲーションを実現した。
- DexNDM：関節単位のニューラルダイナミクスモデルによる器用な手内回転のリアルギャップ解消sim2real2025/10/1
シミュレーションで訓練した単一の方策を実世界の多様な物体に適応させるため、関節ごとのダイナミクスモデルと自律データ収集を組み合わせ、手内回転のsim-to-realギャップを大幅に縮小した研究。
- UrbanVLA：都市マイクロモビリティのための視覚-言語-行動モデルVLA2025/10/1
都市環境での配達ロボットなどのナビゲーションに向け、経路指示と視覚情報を統合して行動を計画するVLAフレームワークを提案し、シミュレーションと実世界データで二段階学習することで大規模都市ナビゲーションを実現した。
- RealMirror: 身体性AIのための包括的オープンソース視覚-言語-行動プラットフォームVLA2025/9/1
ヒューマノイドロボット向けのVLA研究を、実機なしでデータ収集・学習・推論まで行えるオープンソース基盤として構築し、ベンチマークとゼロショットSim2Real転移も実現した。
- Embodied Arena：具現化AIのための包括的・統合・進化型評価プラットフォーム評価基盤2025/9/1
具現化AIの能力を3階層・7能力・25次元で体系化し、22のベンチマークと30以上のモデルを統合評価する進化型プラットフォームを構築した。
- あらゆる外乱下であらゆる動作を追従するヒューマノイド動作トラッカーsim2real2025/9/1
二段階強化学習フレームワークAny2Trackを提案し、単一ポリシーで多様な動作を追従しつつ、地形・外力・物性変化などの外乱にオンライン適応して実機でゼロショットsim2realを実現した。
- 身体性ナビゲーション基盤モデルナビゲーション基盤モデル2025/9/1
四足歩行・ドローン・車輪ロボット・車両にまたがる800万件のナビゲーションサンプルで学習し、視覚言語ナビゲーションや物体探索、追跡、自動運転など多様なタスクを単一アーキテクチャでこなす基盤モデルを提案。
- DexVLG: 大規模巧みな視覚-言語-把持モデルマニピュレーション2025/7/1
単視点RGBD入力から言語指示に沿った巧みな手の把持姿勢を予測する大規模モデルを提案し、1.7億の把持データで学習してゼロショット汎化性能を実証した。
- DreamVLA: 包括的な世界知識を夢見る視覚-言語-行動モデルVLA2025/7/1
動的・空間・意味情報を統合した世界知識予測により逆動力学モデリングを行い、知覚-予測-行動ループを実現する新しいVLAフレームワークを提案。
- 視覚言語基盤モデルによる歩行者意図予測VLA2025/7/1
視覚言語基盤モデルと階層的プロンプトを用いて歩行者の横断意図を予測し、車速や時間情報の統合とプロンプト最適化により精度を最大19.8%向上させた研究。
- CLAR: マスク再構成と多段階コントラスト整合を融合したロボットマニピュレーション向け3D表現学習マニピュレーション2025/7/1
マスク付きオートエンコーダとクロスモーダルなコントラスト学習を組み合わせ、局所的な変形可能注意で3D形状と2D視覚特徴を精密に対応付ける3D事前学習フレームワークを提案し、視覚運動ポリシー学習で最高性能を達成した。
- OctoNav: 汎用身体性ナビゲーションに向けてナビゲーション2025/6/1
マルチモーダルで多能力な自由形式指示に従える汎用ナビゲーションエージェントのための大規模ベンチマークOctoNav-Benchと、MLLMをVLA化したOctoNav-R1を提案。
- GraspVLA：10億規模の合成行動データで事前学習した把持基盤モデルVLA2025/5/1
シミュレーションで生成した10億フレームの把持データセットSynGrasp-1Bを用いて、視覚・言語・行動を統合したVLAモデルGraspVLAを事前学習し、実世界でのゼロショット汎化と少数ショット適応を実現した。
- TrackVLA: 実環境における身体性視覚追跡VLA2025/5/1
視覚と言語と行動を統合したVLAモデルで、対象認識と軌道計画を同時に学習し、遮蔽や動きの激しい実環境でも10FPSで頑健に目標を追跡する。
- FoldNet: キーポイント駆動型のアセットとデモンストレーション合成による汎化可能な閉ループ衣服折り畳みポリシーの学習マニピュレーション2025/5/1
キーポイントベースの衣服テンプレートと生成モデルで合成データセットを作り、閉ループ模倣学習と失敗回復用のKG-DAggerで衣服折り畳みポリシーを訓練し、実世界で75%の成功率を達成した。
- 実世界対応スキル空間によるヒューマノイドのリーチング能力の解放全身制御/sim2real2025/5/1
実世界で使える基本スキルをライブラリ化し、それらを統合した潜在空間と高レベルプランナーでヒューマノイドの全身リーチングを実現、ゼロショットで実機転移した研究。
- Dexonomy: 把持分類に基づく全巧み把持タイプの合成マニピュレーション2025/4/1
GRASP分類の31種類すべてを含む把持を合成するパイプラインを提案し、1070万物体・950万把持のデータセットを構築、タイプ条件付き生成モデルを学習した。
- DyWA: 動力学適応型ワールドアクションモデルによる汎用性の高い非把持マニピュレーションマニピュレーション2025/3/1
物体の質量や摩擦などの物理条件変化に適応しながら未来状態を予測するモデルを提案し、単視点点群のみで非把持マニピュレーションの成功率を大幅に向上させた。
- FetchBot: ゼロショットSim2Realによる散らかったシーンでの汎化可能な物体把持sim2real2025/2/1
100万シーンの合成データと50万のデモを用い、RGBから深度を予測して遮蔽物を考慮した行動生成を行うSim2Realフレームワーク。実環境の散らかった場面で平均89.95%の成功率を達成した。
- 見るより感じろ：動作適応とインピーダンス制御による関節物体操作のsim-to-real RLsim2real2025/2/1
視覚入力への依存を減らし、観測履歴から物体の運動と特性を推定、インピーダンス制御を組み合わせることで、未見の関節物体を実世界で84%の成功率で操作できる強化学習パイプラインを提案。
- SoFar: 言語に基づく物体の向きが空間推論と物体操作を橋渡しするVLA2025/2/1
自然言語で物体の向きを定義する「意味的向き」を導入し、大規模データセットとゼロショット予測モデルを構築して、6自由度の空間推論とロボット動作生成を可能にした。
- MobileH2R: スケーラブルな合成データのみから移動ロボットへの汎化可能な人間からの受け渡しを学習sim2real2025/1/1
シミュレータ上で生成した多様な合成全身人間動作データと4D模倣学習を用い、実世界のデモなしに移動ロボットが人間から物体を受け取る汎化可能なスキルを学習するフレームワークを提案した。
- BODex: 二段階最適化によるスケーラブルで効率的なロボット巧み把持合成マニピュレーション2024/12/1
把持合成を二段階最適化問題として定式化し、GPU並列化により毎秒49把持以上を生成する高速システムとMuJoCoベンチマークを開発。生成データで学習モデルの成功率が40%から80%に向上。
- Uni-NaVid：身体性ナビゲーションタスクを統合する動画ベースの視覚-言語-行動モデルナビゲーション2024/12/1
指示追従・物体探索・質疑応答・人物追跡など多様なナビゲーションタスクを単一モデルで統合し、未知の実環境での長期的な混合タスクを可能にする動画ベースのVLAモデルを提案。
- RoboHanger: 多様な衣類へのハンガー挿入を学習する汎化可能なロボットシステムマニピュレーション2024/12/1
平置きされた未知の衣類にハンガーを挿入するタスクを、サブタスク分割と低次元行動パラメータ化、シミュレータでの合成データ生成により学習し、実世界で8種類の未見衣類に対し75%の成功率を達成した。
- Code-as-Monitor: 制約認識型ビジュアルプログラミングによるロボットの受動的・能動的障害検出VLA2024/12/1
VLMが生成したコードで時空間制約を評価し、ロボットの予期せぬ失敗の事後検出と予見可能な失敗の事前防止を統一的に実現する手法を提案。
- Mimicking-Bench: 人間模倣による汎化可能なヒューマノイド-シーンインタラクション学習のベンチマークヒューマノイド/模倣学習2024/12/1
大規模な人間アニメーションを模倣してヒューマノイドロボットが3Dシーンと相互作用する技能を学習するための、6タスク・11K物体形状・20K合成/3K実世界参照を含む初のベンチマークを構築し、動作リターゲティングや模倣学習の手法を比較評価した。
- GAPartManip：材質に依存しない関節物体操作のための大規模パーツ中心データセットマニピュレーション2024/11/1
透明な蓋や反射する取っ手など深度知覚が難しい家庭内の関節物体を操作するため、材質ランダム化とパーツ単位の操作姿勢注釈を備えた大規模データセットを構築し、頑健な操作を可能にするモジュール型フレームワークを提案した。
- QuadWBG: 汎化可能な四足歩行ロボットの全身把持マニピュレーション2024/11/1
単一のアーム搭載カメラを用い、強化学習で5次元コマンド実行と把持認識を統合した全身移動操作フレームワークを提案し、実世界で89%の把持成功率を達成した。
- DexGraspNet 2.0：大規模合成乱雑シーンでの生成的器用把持の学習マニピュレーション2024/10/1
1319物体・8270シーン・4億2700万把持からなる大規模合成ベンチマークを構築し、局所形状を条件とする拡散モデルによる二段階把持手法を提案。乱雑シーンでの実世界把持成功率90.7%を達成。
- 歩行者意図予測における特徴量重要度：文脈を考慮したレビュー歩行者意図予測2024/9/1
歩行者の横断意図予測モデルの解釈性を高めるため、シナリオ文脈ごとに特徴量重要度を評価するCAPFI手法を提案し、PIEデータセットで5つのモデルを比較した。
- ScissorBot: シミュレーション・模倣・Sim2Realによる汎用性のあるハサミ裁断スキルの学習sim2real2024/9/1
ロボットアームに取り付けたハサミで紙に描かれた曲線を正確に裁断するタスクに取り組み、行動プリミティブ列による模倣学習とSim2Real技術を組み合わせて実機で人間に匹敵する性能を達成した。
- D3RoMa: 素材に依存しないロボットマニピュレーションのための視差拡散ベース深度センシング深度推定2024/9/1
ステレオ画像から拡散モデルで視差マップを予測し、透明・鏡面物体でも高精度な深度推定を実現してロボット操作を改善する手法を提案。
- ソフト触覚溶接のためのフランジベース3Dハンドアイキャリブレーションキャリブレーション2024/7/1
ロボットのフランジ形状を3Dスキャナで直接計測する反復的なハンドアイキャリブレーション手法を提案し、ソフト触覚センシングと組み合わせた溶接シーム追従システムを実現した。
- RAM: 検索ベースのアフォーダンス転移による汎用ゼロショットロボットマニピュレーションマニピュレーション2024/7/1
ロボット・人間・カスタムデータからアフォーダンス記憶を構築し、言語指示に応じて類似デモを検索して2Dアフォーダンスを3D実行可能な形に転移することで、未知の物体・環境・身体でもゼロショットで操作を実現するフレームワーク。
- ASGrasp: RGB-Dアクティブステレオカメラによる透明物体の再構成と6自由度把持検出マニピュレーション2024/5/1
アクティブステレオカメラの生IR・RGB画像から透明物体の形状を再構成し、6自由度把持を検出するネットワークを提案。シミュレーションと実機で90%超の把持成功率を達成した。
- NaVid: ビデオベースVLMが視覚言語ナビゲーションの次の一歩を計画するVLA2024/2/1
単眼RGBカメラの動画ストリームのみから次の行動を出力するビデオベース大規模視覚言語モデルNaVidを提案し、地図・オドメトリ・深度なしでシミュレーションと実世界の両方で最先端のナビゲーション性能を達成した。
- SAGE: 意味的パーツと動作可能パーツを橋渡しする関節物体の汎化マニピュレーションマニピュレーション2023/12/1
関節物体の意味的パーツと動作可能パーツを対応付けるGAPartsを導入し、大規模視覚言語モデルと小型専門モデルを組み合わせて自然言語指示に基づく汎化可能な操作を実現するフレームワークを提案。
- RoboGPT：日常指示タスクのための身体性を伴う長期意思決定エージェントVLA2023/11/1
67kの日常指示タスクデータセットでLlamaを微調整したRoboGPTプランナと、サブゴールごとに設計したRoboSkillを組み合わせ、再計画モジュールで環境適応しながら長期タスクを遂行するエージェントを提案。ALFREDでSOTAを上回る。
- ドーナツを作ろう：ツールを用いたゼロショット変形操作のための階層的EMD空間計画変形操作2023/11/1
大規模言語モデルでタスクを段階的に計画し、微分可能物理とEMD空間の損失を用いた閉ループ制御で、訓練なしにツールを使った変形物体操作を実現する手法を提案。
- STOPNet: 生産ライン上の透明物体に対するマルチビューベース6自由度吸着検出マニピュレーション2023/10/1
RGB画像のみからマルチビューステレオで生産ラインの3Dシーンを再構成し、透明物体を含む6自由度の吸着姿勢をリアルタイムに検出するフレームワークを提案した。
- タスク指向の巧みな手の姿勢合成のための微分可能な把持レンチ境界推定器マニピュレーション2023/9/1
タスクに必要なレンチ空間と把持可能なレンチ空間の差を最小化する微分可能な最適化により、力閉包把持だけでなく非把持操作を含む多様なタスク指向の手姿勢を生成する手法を提案。
- GAMMA: オンライン把持姿勢融合に基づく把持可能性を考慮した移動マニピュレーション方策学習移動マニピュレーション2023/9/1
移動ロボットが対象に近づきながら把持する際の観測問題に対し、予測した把持姿勢をオンラインで統合し、把持可能性を評価しながら強化学習で方策を学ぶ手法を提案した。
- UniDexGrasp++：幾何認識カリキュラムと反復的ジェネラリスト・スペシャリスト学習による器用把持方策の改善マニピュレーション2023/4/1
数千物体の点群から器用な把持方策を学習するため、物体形状に基づくカリキュラム学習と反復的なジェネラリスト・スペシャリスト学習を導入し、汎化性能を大幅に向上させた。
- UniDexGrasp：多様な把持候補生成と目標条件付き方策による汎用ロボット巧み把持マニピュレーション2023/3/1
点群から多様な巧み把持姿勢を生成する確率的モデルと、目標条件付き把持方策を組み合わせ、数百カテゴリの物体に対する汎用巧み把持を実現した。
- PartManip: 点群観測からカテゴリ横断的に汎化可能なパーツ操作方策の学習マニピュレーション2023/3/1
物体をパーツ単位で捉え、点群入力からカテゴリをまたいで汎化する操作方策を学習するベンチマークと手法を提案した。
- 同時探索と識別による3D認識型物体目標ナビゲーション物体目標ナビゲーション2022/12/1
オンラインで融合した3D点群を観測として、角誘導探索とカテゴリ認識識別の2つのサブポリシーを同時に実行し、3Dシーン表現を活用した物体目標ナビゲーションを実現した研究。
- DexGraspNet：汎用物体に対する大規模ロボット巧み把持データセットのシミュレーションによる構築マニピュレーション2022/10/1
微分可能な力閉包推定を高速化した手法で、ShadowHandによる5355物体・132万把持の大規模データセットを生成し、既存データセットより多様性と品質が高いことを示した。
- 触覚センシングによる把持物体の汎化可能な6D姿勢追跡の強化触覚2022/10/1
触覚信号を活用して、未知の把持物体の6D姿勢追跡を改善するTEG-Trackを提案し、実世界データセットを構築して有効性を示した。
- GraspNeRF：汎化可能NeRFを用いた透明・鏡面物体の多視点6-DoF把持検出マニピュレーション2022/10/1
透明・鏡面物体の把持を可能にするため、汎化可能なNeRFと把持検出をエンドツーエンドで学習し、疎なRGB画像からリアルタイムで6-DoF把持を検出する手法を提案。
- 粗密最適化による時空間キーフレーム制御の交通流シミュレーション交通流シミュレーション2022/9/1
時空間キーフレームを用いて車両の動きを制御し、粗い探索と詳細な最適化を組み合わせて自然な交通軌道を生成する手法を提案する。
- 生成的敵対的自己模倣学習によるカテゴリレベルで汎化可能な物体操作方策の学習模倣学習2022/3/1
終端報酬のみの模倣学習で、形状が多様な関節物体カテゴリに汎化する操作方策を学ぶため、生成的敵対的自己模倣学習・識別器の漸進的成長・専門家バッファのインスタンス均衡化を提案した論文。
- ニューラル二部グラフマッチングによるマルチロボット能動マッピングマルチロボット探索2022/3/1
ロボットとフロンティアの対応を二部グラフマッチングとして定式化し、多重グラフニューラルネットで親和性を学習して強化学習で最適化するマルチロボット能動マッピング手法を提案した。
- ラウンドアバウトにおける操縦ベースのアンカー軌道仮説軌道予測2021/4/1
ラウンドアバウトでの車両挙動予測のため、運転意図を操縦概念で符号化し、操縦別アンカー軌道とリカレントエンコーダ・デコーダを組み合わせて多峰的な将来軌道分布を予測する手法を提案した。
- 車線変更・合流を考慮した軌跡予測のためのマヌーバ認識プーリング軌跡予測2021/4/1
周辺車両の極座標表現と向き・動径速度を用いたプーリングで、車線変更や合流の意図を暗黙的に考慮し、生成型エンコーダ・デコーダで高速道路の車両軌跡予測精度を向上させた研究。
- フラックス誘導法によるUAVのフォーメーション制御群制御2021/3/1
複数UAVがターゲットを常に最大カバレッジで包囲しつつ衝突回避軌道を生成するFlux Guided法を提案し、従来より1.5倍短い軌道と高速な計画を実現した。
- SAPIEN：関節物体を備えた物理シミュレーション環境sim2real2020/3/1
家庭用ロボットの学習向けに、関節を持つ多数の物体を収めた物理的にリアルなシミュレーション環境SAPIENを構築し、部品検出や動作属性認識、強化学習による操作タスクを評価した。
- 人間らしい障害物環境でのリーチング計画マニピュレーション2020/2/1
VRで人間の障害物を避けるリーチング動作を計測し、その高レベル計画を分類器で学習してロボットの軌道計画に転用した研究。
- カテゴリレベル関節物体の姿勢推定姿勢推定2019/12/1
単一深度画像から未学習の関節物体インスタンスの姿勢を推定するため、関節を考慮した正規化座標空間階層(ANCSH)を提案し、PointNet++で部位分割・正規化座標・関節パラメータを予測する手法。
