Qiaojun Yu
Shanghai AI Lab
収録論文 32本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- FlowVLA：定量的なロボット注ぎのための流れを考慮した物理的完了学習VLA2026/10/21
注ぎ中の移動質量を視覚・関節・手首力覚から推定し、目標量に達したら戻る判断を行うVLA手法。コーヒーポット実験で誤差13.1gを達成。
- フィジカルAI：概念・技術・課題の体系化フィジカルAI2026/10/19
フィジカルAIの定義と技術的枠組みを統一的に整理し、知覚から行動までの閉ループやsim2real、安全性などの課題を展望したモノグラフ。
- VOMMI: モバイルマニピュレーションのためのポータブル実演収集と活用モバイルマニピュレーション2026/10/6
RGB動画からオフラインで軌道を再構成し、視覚運動条件付けでVLAを事後学習させるポータブルな実演収集・学習フレームワークを提案。
- InternW0-Δ: 予測ダイナミクスと行動を橋渡しする20K時間超のオープンデータによるワールドアクションモデルVLA2026/9/25
視覚ダイナミクスと行動生成を統合したワールドアクションモデルを、20,000時間超の異種オープンデータで事前学習し、シミュレーションと実機で従来手法を上回る性能を達成した。
- InternW0: 効率的な実世界インタラクションのための基盤的物理世界モデル世界モデル2026/9/23
上海AI Labが、視覚予測とロボット制御を非対称なvideo-actionアーキテクチャで統合した物理世界モデルInternW0を提案。約7,200時間のデータで学習し、化学合成やピペッティングなどの実世界タスクで評価した。
- FWBC-VLA: 接触を伴う移動操作のための力認識全身補償移動操作/VLA/力推定2026/9/3
車輪付き脚ロボットの接触を伴う移動操作において、力センサを使わずに接触力を推定し、その情報をVLAモデルに統合することで、タスクレベルの行動生成と低レベルの全身補償制御を橋渡しするフレームワークを提案した。
- DECOWAM: 脚式移動マニピュレーションのための分離型全身世界行動モデル移動マニピュレーション2026/8/20
移動マニピュレーションのための世界行動モデルを提案し、カメラの自己運動とベース・アーム動作を分離して予測する。実ロボットデータセットを用いて、将来の映像と行動の予測精度を向上させた。
- KAI: データ効率的な関節物体操作のための運動学的認識インターフェースマニピュレーション2026/7/1
関節物体の運動学的構造を捉えた中間表現KAIを導入し、ポリシー学習に組み込むことで、少ないデモデータでも高い成功率を達成する手法を提案した。
- ForceFlow: 接触駆動フローマッチングによる感覚と行動の学習マニピュレーション2026/5/1
接触を伴う操作タスクのための力覚対応リアクティブフレームワークを提案。非対称マルチモーダル融合と視覚から力へのハンドオーバー機構により、力と運動の深い結合を実現し、実世界6タスクで成功率を37%向上させた。
- SIM1: 物理整合シミュレータによる変形物体世界でのゼロショットデータ拡張シミュレーション/変形物体操作2026/4/1
変形物体操作のための物理整合型シミュレータを提案し、少数の実デモから合成データを生成してポリシー学習を効率化する。実機で90%のゼロショット成功率を達成した。
- SkillVLA: スキル再利用による双腕操作の組合せ多様性への挑戦双腕操作/VLA2026/3/1
双腕操作におけるVLAモデルが、左右の腕のスキルを組み合わせて再利用できるようにするフレームワークを提案し、成功率を大幅に向上させた。
- ForceVLA2: 力認識によるハイブリッド力-位置制御で接触を伴う操作を実現VLA/操作2026/3/1
接触を伴う操作のための視覚言語行動モデルに、力認識とハイブリッド力-位置制御を導入し、成功率を大幅に向上させた。
- RL強化テレオペレーションと巧みな専門家混合VLAによる人間らしい操作の実現VLA/巧緻操作/触覚2026/3/1
高自由度の両手巧緻操作を可能にするため、RLで訓練した原子スキルによるデータ収集支援と、触覚・力覚を統合したVLAアーキテクチャを提案し、接触を伴う複雑タスクで成功率を2倍に向上させた。
- InternVLA-A1：ロボットマニピュレーションのための理解・生成・行動の統合VLA2026/1/1
シーン理解・視覚的予測・行動実行の3つの専門家をMixture-of-Transformersで統合したVLAモデルを提案し、実世界12タスクで既存手法を上回る性能を達成した。
- CoFreeVLA: 視覚言語行動モデルとリスク推定による衝突回避型双腕マニピュレーションマニピュレーション2026/1/1
VLAモデルに短期的な自己衝突リスク推定器を組み込み、危険な指令を抑制・修正することで双腕ロボットの衝突を減らしタスク成功率を向上させた。
- MILE: 巧みな操作のデータ収集のための機械的同型ハンドエクソスケルトンと視触覚ロボットハンドテレオペレーション/触覚2025/12/1
人間の手の構造に基づくエクソスケルトンと、それに対応する視触覚ロボットハンドを開発し、巧みな操作の実演データを同期収集できるテレオペレーションシステムを構築した。
- ハイブリッド整合性ポリシー：ロボットマニピュレーションにおけるマルチモーダル多様性とリアルタイム効率の分離マニピュレーション2025/10/1
拡散ベース模倣学習の多様性を保ちつつ、短い確率的プレフィックスと1ステップ整合性ジャンプで高速推論を実現するハイブリッド整合性ポリシーを提案。
- VFP: 多峰性ロボットマニピュレーションのための変分フローマッチングポリシーマニピュレーション2025/8/1
フローマッチングに変分潜在事前分布を導入し、タスク・軌道レベルの多峰性を捉えることで、複雑な操作タスクでの成功率とサンプリング効率を向上させたポリシーを提案。
- ArtGS: 3Dガウシアンスプラッティングによる関節物体の視覚・物理モデリングと操作マニピュレーション2025/7/1
3Dガウシアンスプラッティングに視覚言語モデルと微分可能レンダリングを組み合わせ、関節物体の構造を推定して操作方策を最適化するフレームワークを提案。
- 複雑な産業環境における異常検知のためのノイズ融合蒸留学習異常検知2025/6/1
産業環境での異常検知・位置特定のため、異種教師ネットワークと適応的局所大域特徴融合、局所多変量ガウスノイズ生成を組み合わせた蒸留学習フレームワークを提案し、複雑な条件下での精度とロバスト性を向上させた。
- ForceVLA：力覚対応MoEで接触の多いマニピュレーションを強化するVLAモデルマニピュレーション2025/5/1
外部力覚をVLAの第一級モダリティとして扱い、力覚対応のMixture-of-Experts融合モジュールで視覚言語埋め込みと6軸力フィードバックを統合する操作フレームワークを提案し、接触の多いタスクの成功率を23.2%向上させた。
- RoboTwin: 生成デジタルツインによる双腕ロボットベンチマーク双腕マニピュレーション2025/4/1
3D生成基盤モデルと大規模言語モデルを活用し、多様な専門家データセットと実世界に即した評価プラットフォームを提供する双腕ロボットタスク向けの生成デジタルツインフレームワークを提案。
- SAM2ベースのトラッキングとオンライン軸推定による関節物体マニピュレーションマニピュレーション2024/9/1
SAM2で動的部分を追跡しながら3D点群から関節軸をオンライン推定し、関節物体を閉ループで操作する手法を提案した論文。
- SKT: 状態認識キーポイント軌道と視覚言語モデルを統合したロボット衣類操作衣類操作/VLA2024/9/1
視覚言語モデル(VLM)を用いて、多様な衣類の状態を単一モデルで認識しキーポイントを予測することで、ロボットによる衣類操作を汎用的に実現する手法を提案した。大規模合成データで学習し、キーポイント検出精度とタスク成功率を向上させた。
- UniAff：視覚言語モデルによる道具使用と関節物体操作のためのアフォーダンス統合表現マニピュレーション2024/9/1
道具と関節物体の操作を統一的に扱うため、アフォーダンス認識と3D運動制約の推論を視覚言語モデルで行う手法UniAffを提案し、シミュレーションと実世界で汎化性能を向上させた。
- RPMArt: 関節物体のためのロバストな知覚とマニピュレーションマニピュレーション2024/3/1
ノイズの多い点群から関節パラメータと把持可能点を推定し、シミュレーションのみの学習で実世界の関節物体をゼロショットで操作できるフレームワークを提案。
- ManiPose: 姿勢を考慮した物体操作のための包括的ベンチマークマニピュレーション2024/3/1
物体の6D姿勢に応じて把持や操作を適応させる「姿勢考慮型物体操作」の研究を進めるため、シミュレーション環境・大規模データセット・LLM活用ベースラインを提供するベンチマークを構築した。
- RoboCodeX：ロボット行動合成のためのマルチモーダルコード生成VLA2024/2/1
人間の指示を物体中心の操作単位に分解し、コード生成でロボットの行動を合成するフレームワークを提案。シミュレータと実機で操作・ナビゲーションタスクの最先端性能を達成。
- RoboScript: 実機とシミュレーションをまたぐ自由形式マニピュレーションのためのコード生成マニピュレーション2024/2/1
ROS抽象化に基づく統一インターフェースで、コード生成による実機・シミュレーション両対応のロボットマニピュレーションパイプラインと自由記述タスクのベンチマークを提案。
- GAMMA: 多様な関節物体の汎用的な関節モデリングと操作マニピュレーション2023/9/1
多様な関節物体から関節モデリングと把持姿勢を学習し、適応的操作で誤差を低減するフレームワークGAMMAを提案。未見・カテゴリ横断の物体で既存手法を大きく上回る。
- ClothesNet: 情報豊富な3D衣服モデルリポジトリとシミュレーション衣服環境衣服操作/シミュレーション2023/8/1
11カテゴリ約4400体の3D衣服モデルに特徴・境界線・キーポイントを注釈付与した大規模データセットを構築し、衣服の認識ベンチマークとロボット操作(折り畳み・吊り下げ・着衣など)のシミュレーション環境を提供した。
- SAGCIシステム：サンプル効率・汎化・合成・逐次学習を目指すロボット学習フレームワークマニピュレーション2021/11/1
カメラの点群から環境をURDFとしてモデル化し、微分可能シミュレーションと対話的知覚を組み合わせて、関節物体操作のポリシーを効率的に学習するシステムを提案した。
