Xinyu Zhang
Southeast University
収録論文 48本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 負例を活用した統合ワールドアクションモデルによるエンドツーエンド自動運転の安全強化自動運転/ワールドモデル2026/11/5
専門家軌道に近いが危険な負例軌道を反発アンカーとして学習させ、推論時コストなしで安全境界を獲得する自動運転の事後学習フレームワークNegWAMを提案した。
- 物理的時間を考慮したロボット政策記憶の動的モデルマニピュレーション2026/10/14
観測履歴に物理的時間間隔を組み込むことで記憶状態を時間的に進化させるTemporal Flow Policyを提案し、拡散・フローマッチング政策に適用して操作タスクの性能を向上させた。
- OmniNav: 動的環境における堅牢な長期的目標ナビゲーションナビゲーション2026/9/8
動的環境での長期的な目標ナビゲーションを、シーン記憶の更新、信念修正、操作可能なエンドポイント選択を統合した因子化タスク状態推定として定式化し、頑健な探索と操作を実現するシステムを提案した。
- GLaQ: 視覚的証拠への潜在クエリ接地によるマルチモーダル推論VLA2026/8/16
マルチモーダル大規模言語モデルの推論において、連続的な潜在状態の代わりに、元の視覚トークンに接地された固定数のクエリを用いることで、細かい視覚情報を効果的に保持・再利用する手法を提案した。
- SOPD-SocialNav: 視覚言語ソーシャルナビゲーションのための選択的オンポリシー蒸留ナビゲーション2026/7/1
大規模な視覚言語モデルから軽量な学生モデルへ、エントロピーに基づくトークン選択と温度制御付きJSダイバージェンスを用いて社会的ナビゲーション知識を蒸留する手法を提案。実機ロボットでの検証も行った。
- 先見的残差強化学習による視覚言語行動モデルを用いた長期的ロボット操作マニピュレーション2026/7/1
凍結したVLAベースポリシー上で残差RLを行う際、各サブタスクの成功報酬に将来の成功確率を掛け合わせることで、サブタスク間の受け渡し品質を最適化し、長期的なタスク成功率を向上させる手法を提案した。
- TFP: 時間条件付きメモリ融合ポリシーによる視覚運動学習VLA/操作学習2026/7/1
視覚言語行動(VLA)ポリシーは反応的で、段階依存の操作タスクで失敗する問題を解決するため、時間条件付きメモリ融合ポリシー(TFP)を提案。液体時定数ダイナミクスでタスク進行の信念を維持し、フローマッチング行動デコーダに適応変調で注入することで、LIBERO等で成功率を向上させた。
- 残差潜在アクションによる視覚特徴ベース世界モデルの学習世界モデル2026/5/1
視覚特徴ベースの世界モデルにおいて、DINO残差から学習可能な新しい潜在アクション表現(RLA)を導入し、フローマッチングで予測することで、既存手法より高速かつ高精度な未来予測を実現した。さらに、ロボット学習への応用として、アクションなし動画からの行動学習や、オフライン動画のみで学習する視覚RLフレームワークを開発した。
- 強化学習におけるワールドモデルは何を学習するのか?環境シミュレータの潜在表現の探索ワールドモデル/解釈可能性2026/3/23
強化学習用のワールドモデル内部の表現を解釈可能性手法で分析し、ゲーム状態の変数が線形に解読可能な形で表現され、因果介入により機能していることを示した。
- 社会的に適合したナビゲーションのためのグループ競合学習による軽量視覚言語モデルの性能向上ナビゲーション2026/3/1
軽量な視覚言語モデル(VLM)の推論能力を高めるため、グループ競合学習(GCL)という戦略を提案し、社会的に適合したナビゲーションのベンチマークで性能を大幅に向上させた。
- Glove2Hand: マルチモーダルセンシンググローブから自然な手と物体のインタラクションを合成手と物体のインタラクション2026/3/1
マルチモーダルセンシンググローブの映像から、物理的な接触情報を保ちつつ写実的な素手の映像を生成するフレームワークを提案し、触覚・IMU信号付きのデータセットHandSenseを構築した。
- MAction-SocialNav: 推論強化プロンプトチューニングによる複数行動対応の社会的配慮ナビゲーションナビゲーション2025/12/1
社会的に配慮したナビゲーションにおいて、1つの状況で複数の妥当な行動が存在する曖昧さに対応するため、視覚言語モデルとメタ認知プロンプトを提案し、複数行動データセットと評価指標を構築した研究。
- コーナーケースを走る:エンドツーエンド自動運転のための実世界敵対的閉ループ評価プラットフォーム自動運転評価2025/12/1
フローマッチングで実世界画像を生成し、敵対的な周辺車両ポリシーと組み合わせて、実世界データで学習したエンドツーエンド自動運転モデルを危険なコーナーケースで閉ループ評価するプラットフォームを提案した。
- MUSON: 都市環境における社会的規範に沿ったナビゲーションのための推論指向マルチモーダルデータセットナビゲーション2025/12/1
歩行者との社会的規範を考慮したナビゲーションのための、5段階の思考連鎖で注釈付けされた1万件超の一人称視点マルチモーダルデータセットを構築し、複数の視覚言語モデルを評価した。
- SocialNav-MoE: 社会規範に配慮したナビゲーションのための強化学習ファインチューニングを用いたMixture-of-Experts視覚言語モデルナビゲーション2025/12/1
小型VLMとMixture-of-Expertsを組み合わせ、強化学習ファインチューニングと意味的類似度報酬で社会的に配慮したナビゲーションを効率的に実現した。
- 災害捜索救助における人間-群知能協調のためのLLMベースフレームワーク群制御2025/11/1
災害捜索救助でUAV群を運用する際の「意図から行動へのギャップ」を埋めるため、音声や図的注釈からオペレータの意図を捉え、LLMで意図理解・階層的タスク分解・ミッション計画を行うLLM-CRFシステムを提案し、シミュレーションで従来の命令型インターフェースよりタスク協調効率が向上することを示した。
- 安全クリティカルな自動運転のための進化的Bird's Eye View知覚:包括的サーベイ自動運転知覚2025/8/1
自動運転におけるBird's Eye View知覚を安全性の観点から、単一モダリティ車載・マルチモーダル車載・マルチエージェント協調の3段階で体系的にレビューし、データセットや課題、将来方向を整理したサーベイ。
- 失敗予測でSim2Realリズミック挿入方策のロバスト性を向上sim2real2025/7/1
ナット回転や摩擦がある高精度な繰り返し挿入タスクに対し、シミュレーションで訓練した挿入方策と失敗予測モジュールを組み合わせ、失敗時に引き上げて再試行する回復機構を備えたSim2Realフレームワークを提案した。
- HAC-LOCO: 連続的な外乱下での四足歩行のための階層型アクティブコンプライアンス制御の学習歩行2025/7/1
外力推定に基づき速度指令を適応させる階層型学習フレームワークを提案し、四足ロボットのロバスト性とコンプライアンスの両立を実現した。
- S2R-Bench: 自動運転のためのSim-to-Real評価ベンチマークsim2real2025/5/1
実世界の多様な道路・天候・照明条件で収集したセンサ異常データを用い、自動運転の知覚アルゴリズムのロバスト性を評価する初の実環境ベースの腐敗ロバスト性ベンチマークを提案した。
- 動的シーン再構成のためのモーションブレンダーガウシアンスプラッティング動的シーン再構成2025/3/1
動画から動的シーンを再構成する際に、モーショングラフを明示的な動き表現として用い、ガウシアンスプラッティングと組み合わせてロボット応用可能な操作可能な再構成を実現した研究。
- Co-MTP: 自動運転のためのマルチ時間融合協調軌道予測フレームワーク軌道予測2025/2/1
V2Xを活用し、過去と未来の両方の時間領域でエージェント間の相互作用を捉える協調軌道予測フレームワークを提案。実世界データセットで最先端性能を達成。
- 悪天候下のマルチシナリオ画像復元のための勾配誘導パラメータマスク画像復元2024/11/1
訓練時の勾配変動に基づいてパラメータを共通・天候別に分割するマスクを導入し、追加パラメータなしで雨・雨滴・雪などの画像劣化を除去する手法を提案した。
- ロボットマニピュレーションのための自己回帰行動系列学習マニピュレーション2024/10/1
ロボットの行動を系列データとして扱い、自己回帰的に生成するChunking Causal TransformerとAutoregressive Policyを提案し、多様なマニピュレーションタスクで有効性を示した。
- V2I-Calib++: 都市交差点における協調知覚のためのマルチ端末空間キャリブレーション手法キャリブレーション2024/10/1
GPS信号が不安定な都市交差点において、位置情報の事前知識なしで複数のLiDAR間の外部パラメータをリアルタイムにキャリブレーションする手法を提案。
- DAP: 拡散モデルによるマルチモーダル収納のためのアフォーダンス予測マニピュレーション2024/9/1
拡散モデルを使い、容器内の配置可能領域の特定と物体の相対姿勢推定を2段階で行うことで、複数の収納解が存在するマルチモーダルな収納タスクを高効率に解く手法を提案。
- PA-LOCO: 外乱適応型四足歩行の学習歩行2024/7/1
特権情報を複数の特徴エンコーダで分離し、残差ポリシーを組み合わせることで、予期せぬ外力に頑健な四足歩行制御を実現した研究。
- 視覚的キネマティックチェーン予測によるマニピュレーション学習のスケーリングマニピュレーション2024/6/1
多様な環境でのロボット操作学習のため、準静的な動作を表す普遍的表現「視覚的キネマティックチェーン」を提案し、それを予測するTransformerモデルVKTで既存手法を上回る性能を示した。
- ROS-LLM:タスクフィードバックと構造化推論を備えた身体性AIのためのROSフレームワークVLA2024/6/1
ROSと大規模言語モデルを統合し、非専門家が自然言語でロボットをプログラミングできるフレームワークを提案。行動モードや模倣学習、フィードバックによる反省機能を備え、多様なタスクで有効性を検証した。
- 不変性マッチングによるロボットマニピュレーションのワンショット模倣学習マニピュレーション2024/5/1
タスクの不変領域を学習し、デモとテストシーンの不変領域をマッチングすることで、単一の未注釈デモから新しい操作タスクを学習する手法を提案。
- ZSL-RPPO: 再帰的近接方策最適化による四脚ロボットの難地形ゼロショット移動歩行2024/3/1
再帰ニューラルネットを直接訓練するRPPOを提案し、教師なしゼロショット学習で四脚ロボットの難地形歩行を実現、実機で検証した。
- 競争を通じてロボットの潜在能力を引き出す群制御2024/3/1
競争環境での他者との比較を学習の補助信号として活用し、ロボットが競争から知識を得て潜在能力を最大限に発揮する競争学習フレームワークを提案。マルチエージェント競走環境での実験で、単一ロボット環境の最先端手法より優れた性能を示した。
- SYNLOCO: 中枢パターン生成器と強化学習を統合した四足歩行歩行2023/10/1
CPGのリズム歩行生成と強化学習の適応性を組み合わせ、二段階学習で安定かつ自然な四足歩行制御器を実現した。
- 6自由度全地形サイクロコプターサイクロロータ/マルチモーダル制御2023/9/1
4つのモータと1つのサーボで駆動するサイクロロータ式の小型飛行体を設計し、PIDと非線形モデル予測制御で空中・地上・水上のマルチモーダル制御を実現した。
- 混雑環境におけるマルチロボット運動計画のための強化学習ポテンシャル場群制御2023/7/1
強化学習と人工ポテンシャル場を組み合わせ、自己注意機構でロボット間・環境との相互作用をモデル化することで、混雑環境でも通信なしで分散的に多数のロボットの運動計画をリアルタイムに生成する手法を提案。
- モード切替点最適化を考慮した空陸両用ロボットの経路計画経路計画2023/5/1
空陸両用ロボットの経路計画において、モード切替点の最適化を取り入れた軽量なグラフ探索手法を提案し、エネルギー効率と探索速度を改善した。
- 飛魚に学ぶ折りたたみ翼を持つ水空両用ロボット水空両用ロボット2023/4/1
飛魚の胸びれを模した軟質油圧アクチュエータ駆動の折りたたみ翼を開発し、水空両用ロボットの運動パターンへの有効性をシミュレーションで検証した。
- CMG-Net: 接触ベースの多指巧み把持のためのエンドツーエンドネットワークマニピュレーション2023/3/1
多指ロボットハンドと物体間の接触を表現に用いることで予測次元を削減し、単一の点群から混雑環境中の未知物体に対する多指把持姿勢とハンド構成を予測するエンドツーエンドネットワークを提案した。
- 異常入力に敏感な知能運転向け品質指標Eloss異常検知2023/2/1
知能運転の知覚モデルにおいて、情報圧縮層の情報量とエントロピーの変化に基づく新指標Elossを提案し、異常検知を可能にする学習戦略を示した。
- FastPillars: 展開に適したピラーベース3D検出器3D検出2023/2/1
自動運転向けに、SPConvを使わず軽量なピラーエンコーディングとバックボーン設計で高精度・低遅延を実現した3D物体検出器を提案。
- 多モーダル変形陸空ロボットの連成モデリングと融合制御陸空ロボット2022/11/1
変形可能な陸空ロボットの連成動力学モデルを構築し、不整地での着陸とモード切替を実現するモデルベース制御器を設計した。
- 複雑環境向けのマルチモーダル変形可能な陸空ロボット陸空ハイブリッドロボット2022/10/1
飛行と走行の両方が可能な変形型陸空ロボットを開発し、3D計画・追跡による自動モード切替と性能評価アルゴリズムを提案した。
- カメラとLiDARの時間的・空間的オンライン統合キャリブレーションキャリブレーション2022/7/1
カメラとLiDARのデータ融合のための時間同期と外部キャリブレーションをオンラインで同時に行う手法を提案し、KITTIベンチマークで時間同期精度を38.5%改善、空間キャリブレーションを0.4秒以内に0.3度の精度で自動補正できることを示した。
- 知能化された水陸両用空地走行車両:未来の交通に向けた最先端技術空陸両用車両2022/7/1
空陸両用車両の既存研究を分析し、複雑な都市交通システムで活用するための自動飛行・走行機能の主要技術と課題、今後の解決策をまとめたレビュー論文。
- 動的環境における自己運動推定と3D移動物体検出の統合フレームワークSLAM2022/4/1
LiDAR SLAMに組み込める汎用的な手法として、3D物体検出で候補を除去しつつ自己運動推定と移動物体のセグメンテーションを反復的に行うDynamic Registrationを提案した論文。
- 物理制約下でのマルチロボット被覆経路計画アルゴリズムMSTC*マルチロボット被覆計画2021/8/1
スパイラル全域木被覆を基に地形走破性や積載量などの物理制約を考慮し、複数ロボットの作業負荷を均等化して被覆完了時間を最小化するマルチロボット被覆経路計画法を提案した。
- 身体性を活かしたシーン記述VLA2020/4/1
エージェントが環境内を動いて最適な視点を見つけ、シーンを記述する「身体性シーン記述」を提案。模倣学習と強化学習でセンサモータ行動を学習し、AI2Thorと実機ロボットで有効性を示した。
- 能動学習と局所再計画による把持姿勢の転移マニピュレーション2018/7/1
例示物体の把持姿勢を形状が類似した新規物体へ転移する手法を提案し、能動学習で把持空間を構築して部位間の接触対応を求め、局所再計画で安定性を保ちながら把持を調整する。
