Mengdi Xu
Stanford University
収録論文 31本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ToolDex: 創造的な道具使用のための自己中心・外界中心人間デモンストレーションデータセット道具使用データセット2026/11/6
人間が身近な物体を道具として選び・加工し・転用する様子を、自己中心カメラと8台の外界カメラで同期収録した大規模データセットを構築し、道具使用推論・疎視点3D/4D再構成・ロボット方策学習のベンチマークを整備した。
- HITCH: 全身ハーネスでヒューマノイドを操作する視覚言語モデルの学習VLA2026/11/5
視覚言語モデルが画像内の点を3D位置として認識し、骨盤・胴体・手・歩行・視線のコマンドを全身動作に変換するハーネスを構築し、教師軌跡で微調整することで実機G1での箱運び歩行を実現した。
- 長期的タスク進展と局所ダイナミクスを分離する世界行動モデルマニピュレーション2026/11/3
ロボット操作のための世界行動モデルにおいて、長期的なタスクの進展と短期的な局所視覚ダイナミクスを二つのストリームに分離し、統合アーキテクチャで行動生成を改善した研究。
- ロボット操作エージェントを民主化する統合ハーネスとオープンモデルVLA2026/11/1
オープンウェイトモデルでロボット操作エージェントを研究・学習できる統合ハーネスを提案し、既存の商用モデルを上回る性能を示した。
- EgoHSI3R: 一人称動画からのオンライン4D手とシーン相互作用の再構成手とシーンの相互作用2026/10/29
一人称単眼動画から、カメラ運動・密なシーン形状・両手のMANO姿勢・手と物体の接触を単一のフィードフォワードネットワークで因果的に同時推定する手法を提案した。
- コンパクト参照追従による低遅延全身ヒューマノイド遠隔操作遠隔操作2026/10/21
ルート高さ・速度と4つの疎なキーポイント姿勢のみを参照する統一追従ポリシーで、約20msの低遅延な全身ヒューマノイド遠隔操作を実現し、ボールキャッチなどの反応動作を実機で示した。
- 時空間参照でロボット動作を編集する統合インターフェースマニピュレーション2026/10/16
キーポイントや流れなど様々な時空間参照を同一の行動空間の部分指定として統合し、制御可能なマニピュレーションを行動インペインティング問題として解く手法を提案した。
- TacClaw-Infinity: 巧みな操作のための大規模視覚・触覚・言語・行動データセット触覚2026/10/14
触覚対応のハンドヘルド型デバイスで世界中から収集した1万時間・100万エピソード超の視覚・触覚・言語・行動データセットを構築し、異なるロボット間での転移を実証した。
- MIRROR: オフラインロボット対話データから隠れた対称性を反映する模倣学習2026/10/12
オフラインのロボット操作データから、観測と行動に同時に作用する対称性変換を学習し、データ拡張や方策学習に活用するフレームワークを提案。
- BridgeWAM: 潜在ブリッジクエリによる映像・行動エキスパートの橋渡しVLA2026/10/10
映像と言語・固有感覚の情報を32個の潜在ブリッジクエリで共有空間に集約し、超軽量な行動ヘッドで高精度かつ高速なロボット操作を実現した手法。
- RoboCoach: 世界モデルを能動的コーチとして用いた構成可能なロボットスキルの改善マニピュレーション2026/9/30
世界モデル内で想像した失敗を診断し、次に教えるべきサブタスクと更新すべき専門家を選ぶことで、少ない実演データで長期的なロボット操作スキルの組み合わせを効率的に改善するフレームワークを提案。
- フローマッチングにおける条件付きアニーリングによる因果的行動トークン化の再考VLA2026/9/28
フローマッチングを段階的にアニーリングして因果構造を持つ行動トークンを抽出するCATokを提案し、VLAモデルの再構成精度・推論効率・タスク成功率を向上させた。
- Uni-VLaT:ヒューマノイドの移動操作のためのVLAポリシーへの全身触覚適応VLA2026/9/28
全身触覚を視覚言語行動ポリシーに統合し、未来の触覚・固有感覚・視覚表現を予測する補助タスクで学習することで、接触を伴う移動操作タスクの成功率を大幅に向上させた。
- ヒューマノイドバドミントン:限られた人間動作データからの動的ラケットスキル学習マニピュレーション2026/9/25
三段階の階層型強化学習により、限られた人間のバドミントン動作データからヒューマノイドがフォアハンド・バックハンド・ジャンプ返球などの動的ラケットスキルを獲得し、実機で人間とのラリーを実現した。
- Weave: 人間-物体インタラクションから全身巧みな移動操作を学習する全身移動操作2026/9/15
人間の物体操作デモを接触を考慮してロボット用に変換し、29体関節と12指関節を協調制御する全身移動操作ポリシーを学習するフレームワーク。
- Dex-X: シミュレーションによるインタラクションを用いた人間のビデオからの視覚-触覚器用操作学習マニピュレーション2026/9/7
人間のビデオデモから、シミュレーションで触覚情報を補完し、視覚と触覚を統合した器用な操作ポリシーを学習するフレームワークを提案。実機へのゼロショット転送を達成した。
- R2S-Eval: 視覚言語モデルによる実機からシミュレーションへのキャリブレーションを用いたロボット評価評価2026/9/3
ロボット操作ポリシーの評価を、実機からシミュレーションへのキャリブレーションと視覚言語モデルによる選好評価を組み合わせて行うパイプラインを提案し、実機評価の不安定性やコストを低減する。
- 運用型デジタルツインクリニックによる具現化AIのタスクベース評価具現化AI評価2026/8/12
日常の診療画像をシミュレータ対応のデジタルツインに変換し、具現化AIのタスク評価を可能にする手法を提案。眼科クリニックの39シーンで再構成品質やロボット動作の実現性を検証した。
- 検証のスケーリングは視覚-言語-行動の整合性において方策学習のスケーリングより効果的になり得るVLA2026/2/1
視覚-言語-行動モデルの指示と行動のずれを減らすため、テスト時に言い換え指示と行動候補を増やして検証する手法CoVerを提案し、方策事前学習のスケーリングより高い性能を示した。
- MoMaGen: ソフト・ハード制約下で多段階両腕移動マニピュレーションのデモを生成sim2real2025/10/1
移動ベースと両腕の多段階タスク向けに、到達可能性などのハード制約と視認性などのソフト制約を満たすデータ生成を制約付き最適化として定式化し、多様なデモを自動生成する手法を提案。
- ダイナミクスをプロンプトに:文脈内学習によるSim-to-Realシステム同定sim2real2024/10/1
過去の相互作用履歴を文脈として用いる文脈内学習により、勾配更新なしでシミュレーション環境のパラメータを実世界のダイナミクスにオンライン適応させる手法を提案し、物体すくい上げとエアホッケーで有効性を示した。
- 大規模言語モデルによる創造的なロボットの道具使用VLA2023/10/1
大規模言語モデルを活用し、自然言語指示からロボット制御コードを生成して、暗黙の物理制約や長期計画を伴う課題で創造的に道具を使うRoboToolを開発した。
- 拡散モデルによる適応的オンライン再計画拡散モデル計画2023/10/1
拡散モデルを用いた計画において、既存計画の尤度に基づいて再計画のタイミングを判断し、元の目標状態を維持しつつ効率的に再計画する手法を提案。
- 転倒時の守護者:安全な転倒のための能動的モード遷移歩行2023/10/1
四足歩行ロボットが転倒する際に、能動的に転がって安定な姿勢へ遷移し回復することで、衝撃を大幅に低減する枠組みを提案した。
- 言語ベースのシーン要約による身体性実行可能方策学習VLA2023/6/1
視覚観測から言語でシーンを要約し、その要約を介してロボットの実行可能な行動をテキスト形式で生成する学習パラダイムを提案。人間による要約を必要とせず、模倣学習と強化学習の両方で訓練可能。
- 何が間違っていたのか?微分可能な因果発見によるSim-to-Realギャップの解消sim2real2023/6/1
シミュレータと実世界のロボット軌道の差を、環境パラメータとの因果関係を同時に学習する微分可能なマッピングでモデル化し、パラメータ調整を自動化してsim-to-realギャップを縮小する手法COMPASSを提案。
- 効率的なオンライン方策適応のためのハイパー決定トランスフォーマーVLA2023/4/1
決定トランスフォーマーにハイパーネットワークで初期化される適応モジュールを追加し、少数のデモンストレーションから未知の物体操作タスクに効率的に適応できるようにした。
- 最適輸送と段階的ドメイン適応によるカリキュラム強化学習強化学習2022/10/18
強化学習のカリキュラムを、タスク分布間の最適輸送問題として定式化し、Wasserstein重心による測地線補間で段階的なタスク列を生成する手法GRADIENTを提案した論文。
- 少数ショット方策汎化のためのプロンプト付きDecision TransformerVLA2022/6/1
Transformerの系列モデリングとプロンプト枠組みを活用し、少数のデモンストレーションから未知タスクに適応するオフライン強化学習手法Prompt-DTを提案した。
- 無限混合ガウス過程によるタスク非依存オンライン強化学習モデルベース強化学習2020/6/1
未知のタスク境界を持つ非定常環境に対応するため、ガウス過程の専門家混合をオンラインで逐次変分推論により更新するモデルベース強化学習手法を提案した。
- 条件付き複数軌道合成による安全クリティカルな運転シナリオの生成軌道生成2019/10/1
道路地図を条件とした生成的モデルで安全運転と衝突運転の潜在空間を橋渡しし、ニアミス軌道を合成して自動運転の予測精度と危険対応能力を向上させるフレームワークを提案した。
