Yu Qiao
Shanghai Innovation Institute
収録論文 44本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Compass 1:単眼RGB動画からのオープンワールド持続型身体性ナビゲーションに向けてナビゲーション2026/11/9
言語理解と動画生成を統合し、約2分の視覚履歴を記憶として遡れる身体性ナビゲーション基盤モデルを提案。大規模データセットも公開し、多様なロボット形態で汎化する。
- Anchor 1:全身マニピュレーションのための精密で安定したヒューマノイド制御ヒューマノイド制御2026/10/30
校正済みの疎な動作参照と明示的な誤差フィードバックを用い、オンラインの関節空間リターゲティングなしで精密かつ安定した全身マニピュレーションを実現するヒューマノイド制御器と評価ベンチマークを提案した。
- 静的・動的を分離した長期一貫性映像ワールドモデルワールドモデル2026/10/29
映像ワールドモデルの長期一貫性を保つため、履歴を静的シーンと動的エンティティに分解して保持・検索し、学習なしで注入するフレームワークGROMEを提案した。
- OS-Helix: ネイティブなコンピュータ操作エージェントにおけるGUI操作とコード実行の統合VLA2026/10/15
GUI操作とコード実行を単一の行動空間で扱うマルチモーダルなコンピュータ操作エージェントを提案し、ハイブリッドデータでのSFTと実環境でのオンラインRLにより性能を大幅に向上させた。
- ForceVLA2: 力認識によるハイブリッド力-位置制御で接触を伴う操作を実現VLA/操作2026/3/1
接触を伴う操作のための視覚言語行動モデルに、力認識とハイブリッド力-位置制御を導入し、成功率を大幅に向上させた。
- InternVLA-A1:ロボットマニピュレーションのための理解・生成・行動の統合VLA2026/1/1
シーン理解・視覚的予測・行動実行の3つの専門家をMixture-of-Transformersで統合したVLAモデルを提案し、実世界12タスクで既存手法を上回る性能を達成した。
- InternVLA-M1: 空間誘導型視覚-言語-行動フレームワークによる汎用ロボットポリシーVLA2025/10/1
空間グラウンディングを手がかりに「どこで行動するか」と「どう行動するか」を二段階で学習し、汎用ロボット制御を実現するVLAフレームワークを提案。
- カメラ空間で行動を接地する観測中心の視覚-言語-行動ポリシーVLA2025/8/1
ロボットの手先姿勢をロボット基準座標系ではなくカメラ座標系で予測するOC-VLAを提案し、視点変化への汎化とタスク成功率を改善した。
- 視覚的身体脳:マルチモーダル大規模言語モデルに空間での知覚・思考・制御をVLA2025/6/1
マルチモーダルLLMをロボット制御に統合するVeBrainを提案し、テキストベースの制御信号を実機の動作ポリシーに変換するアダプタと大規模指示データセットで脚ロボットやアームの適応的な操作を実現した。
- AgiBot World Colosseo:スケーラブルで知能的な身体性システムのための大規模マニピュレーションプラットフォームマニピュレーション2025/3/1
100万以上の軌道と217タスクを含む大規模ロボット操作データセットと、潜在行動表現を活用した汎用方策GO-1を提案し、データ規模の拡大に伴う性能向上と実世界での巧みな長期的タスクの成功率向上を示した。
- Dita: 汎用視覚言語行動ポリシーのための拡散TransformerのスケーリングVLA2025/3/1
Transformerで連続行動列を直接ノイズ除去するマルチモーダル拡散フレームワークを提案し、多様なロボットデータを統合して長期的タスクや実環境適応を実現した。
- LimSimシリーズ:自動運転の検証と強化のためのシミュレーションプラットフォーム自動運転シミュレーション2025/2/1
自動運転システムの検証・改善に向け、道路網情報や人間らしい意思決定アルゴリズム、関心領域(AoI)による計算最適化を統合したシミュレーションプラットフォームLimSimシリーズを提案。多様なベースラインアルゴリズムと評価指標を備え、モジュール型・エンドツーエンド・VLMベースの各システムに対応可能。
- ZOPP: 自動運転のためのゼロショットオフボードパノプティック知覚フレームワーク自動運転/パノプティック知覚2024/11/1
視覚基盤モデルのゼロショット認識能力と点群の3D表現を統合し、自動運転シーンの多様な要素を自動ラベリングするマルチモーダルなパノプティック知覚フレームワークを提案した。
- DynamicCity: 動的シーンからの大規模4D占有生成4D生成2024/10/1
動的運転環境の大規模4D占有シーンを生成するフレームワークを提案し、HexPlane表現のVAEとDiTベース拡散モデルで高品質な生成を実現した。
- ロボット操作のための相乗的・汎用的・効率的なデュアルシステムに向けてマニピュレーション2024/10/1
汎用ポリシーと専門ポリシーを組み合わせたデュアルシステムRoboDualを提案し、少ない学習データで高精度・高効率なロボット操作を実現した。
- 拡散トランスフォーマーポリシーVLA2024/10/1
大規模マルチモーダル拡散トランスフォーマーで連続行動系列を直接ノイズ除去し、多様なロボットデータセットで汎化性能を向上させる手法を提案。
- 対話型自動運転のための推論型マルチエージェント行動トポロジー自動運転2024/9/1
マルチエージェントの将来軌道からブレイド理論に基づく行動トポロジー(BeTop)を抽出し、予測と計画の一貫性を高める学習フレームワークBeTopNetを提案した。
- DriveArena: 自動運転のための閉ループ生成シミュレーションプラットフォーム自動運転シミュレーション2024/8/1
生成モデルで実写のような画像を作り出し、交通シミュレータと組み合わせて自動運転エージェントを閉ループで評価できる高忠実度シミュレーションシステムを構築した。
- GRUtopia:大規模都市で汎用ロボットを夢見るsim2real2024/7/1
10万の対話可能なシーンからなる都市規模のシミュレーション環境と、LLM駆動のNPCによる社会シミュレーション、脚式ロボット向けベンチマークを提供し、Embodied AIのSim2Real研究を加速するプロジェクト。
- 相互作用予測によるマニピュレーション学習マニピュレーション2024/6/1
初期・最終状態と言語指示から遷移フレームと操作対象物体を予測する事前学習手法MPIを提案し、実機・シミュレーションで従来手法を10〜64%上回る性能を達成した。
- 継続的に学習・適応・改善する:自動運転のための二重プロセスアプローチ自動運転2024/5/1
人間の認知プロセスに着想を得て、注意選択と二重プロセス意思決定(分析的推論とヒューリスティック処理)を組み合わせ、反省機構と記憶バンクで自己改善する自動運転フレームワークLeapADを提案。CARLAでの閉ループ評価でカメラ入力のみの手法を上回り、ラベルデータも大幅に削減できることを示した。
- RH20T-P: 組み合わせ可能な汎化エージェントに向けたプリミティブレベルロボットデータセットマニピュレーション2024/3/1
ロボット操作のための約3.8万本の動画クリップからなるプリミティブレベルデータセットRH20T-Pを構築し、計画実行型の組み合わせ汎化エージェントのベースラインを実装した。
- LimSim++:マルチモーダルLLMを自動運転に展開するための閉ループプラットフォーム自動運転/LLM2024/2/1
マルチモーダル大規模言語モデルを自動運転に応用するため、長時間・多シナリオの閉ループシミュレーションを可能にする拡張プラットフォームLimSim++を提案し、ベースラインの(M)LLM駆動フレームワークを実験的に検証した。
- RoboScript: 実機とシミュレーションをまたぐ自由形式マニピュレーションのためのコード生成マニピュレーション2024/2/1
ROS抽象化に基づく統一インターフェースで、コード生成による実機・シミュレーション両対応のロボットマニピュレーションパイプラインと自由記述タスクのベンチマークを提案。
- RoboCodeX:ロボット行動合成のためのマルチモーダルコード生成VLA2024/2/1
人間の指示を物体中心の操作単位に分解し、コード生成でロボットの行動を合成するフレームワークを提案。シミュレータと実機で操作・ナビゲーションタスクの最先端性能を達成。
- 相互情報量を再考する言語条件付きスキル発見の模倣学習VLA2024/2/1
言語指示とスキルの相互情報量を最大化する模倣学習手法LCSDを提案し、ベクトル量子化で離散スキルを獲得、未知タスクへの汎化と成功率を向上させた。
- 未知の関節状態下でのリアルタイム全身ロボット姿勢推定姿勢推定2024/2/1
ロボットの関節角度などの内部状態が未知でも、RGB画像からカメラ・ロボット間の回転や関節パラメータ、キーポイント、ルート深度を単一のフィードフォワード推論でリアルタイムに推定するフレームワークを提案した。
- 知識駆動型自動運転に向けて自動運転2023/12/1
データバイアスや長尾シナリオへの弱さ、解釈性の欠如といった従来の自動運転の課題に対し、大規模言語モデルや世界モデル、ニューラルレンダリングなどを用いた知識駆動型アプローチの研究動向を整理し、今後の方向性を示したサーベイ論文。
- GPT-4V(ision)と自動運転:視覚言語モデルの初期探索VLA2023/11/1
自動運転への視覚言語モデルGPT-4Vの応用可能性を評価し、シーン理解や因果推論で優れる一方、方向認識や信号認識に課題があることを示した。
- Tree-Planner: 大規模言語モデルによる効率的なクローズドループタスクプランニングタスクプランニング2023/10/1
LLMを用いたタスクプランニングを計画サンプリング・行動木構築・接地判断の3段階に再構成し、トークン消費を92.2%削減しつつ最先端性能を達成した。
- DiLu: 大規模言語モデルによる知識駆動型自動運転自動運転2023/9/1
大規模言語モデルに推論と内省のモジュールを組み合わせ、常識的知識に基づく意思決定と経験の蓄積を可能にする自動運転フレームワークDiLuを提案した。
- LimSim: 長期的インタラクティブなマルチシナリオ交通シミュレータ交通シミュレーション2023/7/1
都市路網で長期的に連続した交通シミュレーションを行い、多様な車両間の相互作用を再現するシミュレータLimSimを提案した。
- 人間のように運転する:大規模言語モデルによる自動運転の再考自動運転2023/7/1
大規模言語モデル(LLM)を自動運転に活用し、人間のように環境を理解し、推論・解釈・記憶する能力を検証した。閉ループシステムを構築し、長尾ケースへの対応可能性を示した。
- Instruct2Act:大規模言語モデルでマルチモーダル指示をロボット動作に変換VLA2023/5/1
大規模言語モデルを用いてマルチモーダルな指示からロボット操作の行動系列を生成するフレームワークを提案し、卓上操作タスクでゼロショット性能を検証した。
- EmbodiedGPT: 身体性チェーン・オブ・ソートによる視覚言語事前学習VLA2023/5/1
Ego4D動画と思考の連鎖で作った大規模計画データセットEgoCOTを用い、7B LLMを接続したマルチモーダル基盤モデルを学習し、高レベル計画と低レベル制御を統合した。
- 知覚模倣:自動運転向け合成不要シミュレータへの試み自動運転シミュレーション2023/4/1
センサデータを合成せずに知覚モデルの出力を直接模倣することで、自動運転シミュレータを効率的に構築する手法を提案し、その有効性を評価した。
- LiDARセグメンテーションのためのレンジビュー表現の再考LiDARセグメンテーション2023/3/1
レンジビュー表現の課題を分析し、ネットワーク設計・データ拡張・後処理を統合したRangeFormerを提案。低解像度でも高精度なSTR戦略により、点・ボクセル・マルチビュー手法を初めて上回った。
- 計画指向の自動運転自動運転2022/12/1
知覚・予測・計画を単一ネットワークに統合し、計画を最終目標として最適化するUniADを提案。nuScenesで従来手法を大幅に上回る性能を示した。
- 鳥瞰図知覚の難所を探る:レビュー・評価・実践レシピBEV知覚2022/9/1
自動運転向けの鳥瞰図(BEV)知覚について、視点変換やアノテーション、マルチセンサ融合などの課題を整理し、産業界の設計例や性能向上の実践ガイドをまとめたサーベイ。
- 軌道誘導型制御予測によるエンドツーエンド自動運転:シンプルかつ強力なベースライン自動運転/エンドツーエンド2022/6/1
軌道計画と直接制御予測を統合し、軌道ブランチが制御ブランチを各時刻で誘導する手法を提案。単眼カメラのみでCARLA Leaderboard首位を達成。
- 単一デバイスによるレベル2自動運転:Openpilotの核心に迫る自動運転2022/6/1
低コストな単一カメラデバイスでL2自動運転を実現するOpenpilotの仕組みを分析し、そのモデルSupercomboを再実装して公開ベンチマークで検証した。
- PointCLIP:CLIPによる点群理解VLM/点群2021/12/1
2D画像テキストで事前学習したCLIPを点群認識に転用するため、点群を多視点深度マップに投影してCLIPと照合する手法を提案し、少数ショット適応も可能にした。
- アフォーダンス転移学習による人-物体インタラクション検出HOI検出2021/4/1
人-物体インタラクション表現をアフォーダンスと物体表現に分解し、未知物体へアフォーダンスを転移することで新規物体とのインタラクション検出とアフォーダンス認識を同時に改善する手法を提案した。
- 姿勢情報を活用したマルチカメラ協調による能動的物体追跡マルチカメラ協調/物体追跡2020/1/1
複数カメラが姿勢情報を共有して協調し、遮蔽物があっても対象を追跡できるシステムを提案した。視覚ベースと姿勢ベースの制御を切り替えて追跡性能を向上させている。
