Dong Wang
Shanghai Artificial Intelligence Laboratory
収録論文 53本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- OpenFlyV2:機上で動作する視覚言語行動モデルによる空中知覚とナビゲーションVLA2026/10/29
視覚言語の共有表現から飛行ウェイポイントを生成し、Jetson Orin NX上で10Hzの閉ループ飛行を実現した機上VLAモデル。シミュレーションから実機クアッドロータへゼロショット転移し、実環境4種で48%のナビゲーション成功率を達成した。
- 最適化から直接制御を学習する動的目標追従移動ロボット/追従制御2026/10/26
軌道最適化をオフライン学習で直接制御方策に変換し、微分可能な運動学モデルで軌道レベルの目的を制御学習に反映させる追従フレームワークLECOを提案。滑らかで堅牢な動的目標追従を実現した。
- フィジカルAI:概念・技術・課題の体系化フィジカルAI2026/10/19
フィジカルAIの定義と技術的枠組みを統一的に整理し、知覚から行動までの閉ループやsim2real、安全性などの課題を展望したモノグラフ。
- EgoExplorer:人間の移動操作を現場で捉える視覚・運動・触覚の観測装置移動操作データセット2026/10/13
ウェアラブルシステムで100時間分の人間の移動操作を収録し、一人称視点映像と全身運動・手指関節・触覚を同期させたデータセットを構築した。
- RoboBridge:シミュレーションから実世界への転移のための自己進化型具現化エージェントフレームワークsim2real2026/10/2
シミュレーションと実世界で共有されるタスク知識を手続きとして表現し、対話フィードバックでスキルを自己進化させることで、VLAポリシーを再学習せずにsim-to-real転移を実現するフレームワークを提案。
- MixVLA: 非不変情報の適応的混合による汎化可能な視覚-言語-行動モデルVLA2026/10/2
VLAモデルの汎化性能を高めるため、環境固有の非不変表現を確率的に混合して正則化する学習フレームワークを提案し、OOD条件下でのロバスト性を向上させた。
- UCON: 動的環境における不確実性を考慮した履歴再関連付けナビゲーションナビゲーション2026/9/24
動的環境での知覚不安定性と不確実性最適化の不一致に対処するため、点群の履歴再関連付けとカルマンフィルタによる不確実性セクターを軌道最適化に組み込んだナビゲーション手法を提案。
- WOLF: 予測フロンティアを用いた世界モデル誘導LiDAR探索探索2026/9/20
LiDAR搭載UAVの自律探索において、再帰的世界モデルで将来の観測を予測し、予測フロンティアを生成することで遮蔽物の先の有望領域を推定し探索効率を高める手法を提案。
- Mem-World: 持続的なロボット操作のためのメモリ拡張型行動条件付きワールドモデルワールドモデル2026/6/1
手首カメラの動きや遮蔽により過去の情報が失われる問題を解決するため、4Dサーフェルインデックスメモリを導入し、幾何学的に履歴フレームを検索・活用する行動条件付きワールドモデルを提案した。
- EgoProx: 認知階層にわたる自己中心3D近接推論におけるMLLMの評価VQA/ベンチマーク2026/5/23
自己中心視点での3D近接推論を評価するベンチマークEgoProxを提案し、多様なQAペアを生成するデータエンジンを設計。既存のMLLMの性能を分析し、空間知識はあるものの推論には課題があることを示した。
- 無重力状態を学ぶ:人型ロボットにおける非自己安定動作の模倣模倣学習/全身制御2026/4/1
人型ロボットが環境に依存する動作(椅子に座る、横になる、壁に寄りかかるなど)を実行する際、人間が行う「無重力状態」を模倣し、関節を選択的に弛緩させる手法を提案した。
- RPG: 人間型格闘における複数スキル遷移のためのロバストなポリシーゲーティング歩行/格闘/スキル遷移2026/4/1
人間型ロボットの格闘動作において、複数のスキルを切り替える際の不安定さを解決するため、遷移ランダム化と時間ランダム化を用いたハイブリッド専門家ポリシーフレームワークを提案し、シミュレーションと実機で検証した。
- ZeroWBC: 一人称視点の人間データから自然な全身ヒューマノイド動作を学習全身制御2026/3/1
人間の一人称視点動画と全身動作・テキスト注釈から、テレオペレーションなしでヒューマノイドの全身インタラクションを学習するフレームワークを提案し、Unitree G1で多様なシーン適応行動を実現した。
- 動的補正を備えた閉ループアクションチャンクによる学習不要の拡散ポリシー拡散ポリシー/操作2026/3/1
拡散ベースのポリシーに動的環境情報を注入し、リアルタイムでアクションを補正する閉ループ拡散ポリシーフレームワークDCDPを提案。再学習なしで動的シナリオへの適応性を向上させる。
- PhyGile: 物理プレフィックス誘導による俊敏な汎用人型ロボット動作追従のための動作生成ヒューマノイド動作生成2026/3/1
物理誘導プレフィックスを用いて人型ロボットのネイティブ動作を直接生成し、汎用動作追従コントローラと組み合わせることで、実機で俊敏かつ安定した全身動作を実現するフレームワークを提案した。
- 幾何学的シフト下でのエッジレーダー材料分類材料分類/レーダー/エッジAI2026/3/1
超低消費電力エッジデバイス向けのミリ波レーダー材料分類パイプラインを提案し、センサの高さや傾きの変化による性能低下を分析して、ロバスト性向上の方向性を示した論文。
- Eva-Tracker: ESDF更新不要の可視性考慮型計画と目標再捕捉による堅牢な空中追跡空中追跡2026/2/1
ESDFの更新を不要にする視野特化型ESDFを導入し、遮蔽を避けつつ目標を見失っても再捕捉できる空中追跡の軌道計画手法を提案した。
- Xiaomi-Robotics-0:リアルタイム実行可能なオープンソース視覚言語行動モデルVLA2026/2/1
大規模なロボット軌道と視覚言語データで事前学習し、非同期実行のための学習技術と展開時のタイムステップ調整により、民生用GPUで高速かつ滑らかなリアルタイム動作を実現したVLAモデルを提案。
- Dynamic-ICP: ドップラー情報を活用した動的環境向けICP位置合わせSLAM/位置合わせ2025/11/1
FMCW LiDARのドップラー速度を用いて自己運動推定と動的物体の分離を行い、動的環境でも安定して動作するICP位置合わせフレームワークを提案した。
- 空間から行動へ:空間基盤事前分布に基づく視覚-言語-行動モデルVLA2025/10/1
RGB画像から空間基盤モデルで3D幾何事前分布を抽出し、行動ヘッドに注入することで、追加センサーなしにVLAモデルの空間推論能力を高めるFALCONを提案。
- 軌道条件付き異形態間スキル転移模倣学習2025/10/1
人間のデモ動画から疎なオプティカルフロー軌道を抽出し、それを条件としてロボットの操作動画と実行行動を生成することで、形態の違いを超えたスキル転移を実現した研究。
- FastUMI-100K:大規模UMI形式データセットによるデータ駆動型ロボットマニピュレーションの進展マニピュレーション2025/10/1
モジュール型ハードウェアと軽量トラッキングを備えたFastUMIシステムで収集した10万件超の家庭内タスク実演データセットを構築し、多様な模倣学習アルゴリズムで高い成功率を示した。
- EO-1: 汎用ロボット制御のためのオープンな統合身体性基盤モデルVLA2025/8/1
視覚・言語・行動を統合的に扱う基盤モデルEO-1と150万件のデータセットEO-Data1.5Mを提案し、多様なロボットでの長期的な器用マニピュレーションを実現した。
- GFM-Planner: 幾何特徴メトリックを用いた知覚考慮型軌道計画軌道計画2025/7/1
LiDAR自己位置推定の精度を高めるため、環境の幾何特徴量を指標化し、特徴が豊富な領域を通る軌道をロボットが選択する計画手法を提案した。
- 左脳から右脳へ:視覚と言語によるナビゲーションのための適応的テキストドリーマーVLA2025/5/1
視覚と言語によるナビゲーション(VLN)において、LLMをベースに左脳(論理統合)と右脳(想像的予測)の二重分岐構造で将来の環境意味を言語形式で適応的に想像し、ナビゲーション専門モジュールと統合する手法を提案。R2Rベンチマークで少ないパラメータで最先端性能を達成。
- Hume:視覚-言語-行動モデルにシステム2思考を導入VLA2025/5/1
価値誘導型の熟考(システム2)と軽量な反応型ポリシー(システム1)を組み合わせた二重システムVLAモデルを提案し、器用なロボット制御を実現した。
- 小さく考え、大きく行動する:生涯ロボットマニピュレーションのためのプリミティブプロンプト学習マニピュレーション2025/4/1
スキル間で共有されるプリミティブをプロンプトとして学習し、生涯にわたるロボットマニピュレーションを実現する手法を提案。
- ドップラー支援レーダー・LiDAR慣性SLAMSLAM2025/4/1
4DレーダーとFMCW LiDARのドップラー速度を活用し、動的環境でも高精度な自己位置推定と地図生成を実現するSLAMフレームワークを提案。
- Phoenix: 細粒度ロボット動作修正のための運動ベース自己反省フレームワークマニピュレーション2025/4/1
MLLMによる意味的な反省を運動指示に変換し、拡散ポリシーで細粒度の動作修正を行う自己修正フレームワークを提案。
- MoMa-Kitchen: モバイルマニピュレーションにおけるアフォーダンスに基づく最終接近ナビゲーションのための10万件超ベンチマークモバイルマニピュレーション2025/3/1
キッチン環境でロボットが物体を掴むために最適な最終ナビゲーション位置を学習するための10万件超のデータセットとベンチマークを構築し、軽量なベースラインモデルNavAffを提案した。
- OpenFly: 空中視覚言語ナビゲーションのための包括的プラットフォームVLA2025/2/1
空中視覚言語ナビゲーションのための多様なレンダリングエンジンと自動データ収集ツールチェーンを統合したプラットフォームを提案し、10万軌道の大規模ベンチマークとキーフレーム重視のナビゲーションモデルを構築した。
- SpatialVLA:視覚-言語-行動モデルのための空間表現の探求VLA2025/1/1
ロボット操作における空間理解の重要性に着目し、3D位置エンコーディングと適応的行動グリッドを導入した視覚-言語-行動基盤モデルSpatialVLAを提案。110万件の実世界ロボットデータで事前学習し、ゼロショットでの操作や新環境への適応を実現した。
- 汎用ロボットのための視覚言語行動モデル構築で重要な要素VLA2024/12/1
視覚言語行動モデル(VLA)の性能を左右する設計要因を大規模実験で分析し、汎用ロボット向けの新しいVLAファミリーRoboVLMsを提案した論文。
- 空間表現の探索による空中視覚言語ナビゲーションにおけるLLM推論の強化空中VLN2024/10/1
空中VLNタスクにおいて、LLMをエージェントとして活用し、意味論的トポロジカル距離表現(STMR)を導入することで空間推論能力を高め、訓練不要のゼロショットフレームワークを実現した。
- COHERENT: 大規模言語モデルによる異種マルチロボット協調システムマルチロボット協調2024/9/1
ドローン・ロボット犬・ロボットアームなど異種ロボットの協調を、LLMによる提案・実行・フィードバック・調整のループで計画するフレームワークを提案し、100タスクのベンチマークで従来手法を大きく上回った。
- FastUMI: スケーラブルでハードウェア非依存の汎用マニピュレーションインターフェースとデータセットマニピュレーション2024/9/1
ロボットアームの実世界データ収集を低コスト・ハードウェア非依存で実現するため、UMIを再設計したFastUMIを提案し、22タスク・1万軌跡超のデータセットを公開した。
- AlignBot: ユーザーのリマインダーに沿ったVLM駆動型家庭用ロボットのカスタマイズタスクプランニングVLA2024/9/1
家庭用ロボット向けに、微調整したLLaVA-7BをGPT-4oのアダプタとして用い、ユーザーのリマインダーを構造化指示に変換してカスタマイズされたタスク計画を生成するフレームワークを提案し、実環境実験で成功率86.8%を達成した。
- 奥行きが効く:RGBベースの事前学習済み方策への奥行き情報注入による改善マニピュレーション2024/8/1
RGB入力のみで動作するロボット操作方策に、学習時のみRGB-Dを使う奥行き情報注入フレームワークを提案し、3D知覚能力を高めて細かい操作タスクの性能を向上させた。
- KOI: ハイブリッドキー状態ガイダンスによるオンライン模倣学習の加速模倣学習2024/8/1
視覚言語モデルとオプティカルフローで専門家軌道から意味的・動作的キー状態を抽出し、報酬推定を改善することでオンライン模倣学習の探索効率を高める手法を提案。
- ロボット応用のための可変時間ステップ強化学習強化学習2024/7/1
必要なときだけ行動を実行する可変時間ステップ強化学習手法MOSEACを提案し、シミュレーションと実機で収束の速さや省エネ性を検証した。
- MOSEAC: 可変タイムステップ強化学習の簡素化強化学習2024/6/1
可変タイムステップ強化学習において、ハイパーパラメータ調整を1つに削減する適応的報酬スキームを備えたマルチオブジェクティブSoft Elastic Actor-Critic法を提案し、シミュレーションで有効性を示した。
- 相互作用予測によるマニピュレーション学習マニピュレーション2024/6/1
初期・最終状態と言語指示から遷移フレームと操作対象物体を予測する事前学習手法MPIを提案し、実機・シミュレーションで従来手法を10〜64%上回る性能を達成した。
- 弾力的な時間ステップによる強化学習強化学習2024/2/1
制御周波数を動的に調整する弾力的時間ステップを用いた強化学習アルゴリズムMOSEACを提案し、3Dレースゲームでエネルギー効率とタスク性能の向上を実証した。
- 可変制御レートを用いた実機展開可能な強化学習強化学習2024/1/1
強化学習の制御周期を固定せず、必要なときだけ行動する可変制御レートの枠組みを提案し、Soft Actor-Criticを拡張したSEACアルゴリズムで有効性を示した。
- LLMによる関節物体操作のための運動学認識プロンプティングマニピュレーション2023/11/1
物体の関節構造をテキストで表現しLLMに与えることで、多様な関節物体を操作する低レベル動作軌道を生成する手法を提案した。
- 把持アフォーダンス駆動型次善視点計画マニピュレーション2023/9/1
遮蔽された物体の把持アフォーダンスを新視点から予測し、把持品質が最大となる視点を選んで把持を実現する手法を提案。
- リスク回避型方策学習による頑健な四脚歩行歩行2023/8/1
分位点回帰で不確実性をモデル化し、最悪ケースを最適化するリスク回避型強化学習で、外乱に強い四脚ロボットの歩行方策を実現した。
- リアルタイム予算制約下での安全なオフライン強化学習安全強化学習2023/6/1
オフライン設定で動的に与えられる安全予算にリアルタイム対応するため、軌道分布の拡散モデル計画に基づくTREBIを提案し、理論的保証と実応用での有効性を示した。
- 動的環境における自律ドローンレースのための多項式ベースオンライン計画ドローンレース2023/6/1
多項式軌道表現と並列マルチトポロジー計画を用いたオンライン再計画フレームワークを提案し、動的障害物のあるドローンレースで優勝した。
- 地形知覚不要の四脚ロボットによる多様地形での旋回運動:モデリング・解析・実験検証歩行2021/7/1
不整地での旋回時に生じる位置ドリフトを抑えるため、足先運動学モデルとCoM計画法を改良し、LQRで追従制御する手法を提案。平地・階段・斜面で小型四脚ロボットによる実験で有効性を検証した。
- イベントカメラと深度センシングによる高速動体の検出・追跡システムイベントカメラ/動体追跡2021/3/1
イベントカメラと深度カメラを非同期に融合し、自己運動補償・物体検出・軌道予測を統合した低遅延・高精度な高速動体知覚システムを提案した論文。
- 点群上で直接大きな凸多面体を生成する手法経路計画2020/10/1
点群データから球面反転を用いて障害物のない大きな凸空間をミリ秒単位で生成し、軌道計画やマッピングに応用した研究。
- 全駆動型空中マニピュレーションシステムの設計・モデリングと動的補償PID制御空中マニピュレーション2017/9/1
新型の全駆動型空中マニピュレーションシステムを設計し、動的補償PID制御を提案して、シミュレーションと実験で従来手法より高い制御精度と外乱抑制性能を示した論文。
