Zhe Liu
The University of Hong Kong
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- AeroDASH: ビジョン・言語・行動によるUAV連続飛行のための非同期制御VLA2026/10/18
VLAポリシーの推論遅延による軌道ずれを解消するため、Bスプライン軌道融合と実行考慮型GRPOを組み合わせた非同期VLAフレームワークを提案し、UAVの言語条件付き連続飛行を実現した。
- TILDE: 身体性基盤モデルからの教師参加型蒸留蒸留2026/10/18
大規模行動事前学習済みの身体性基盤モデルから、事前学習なしのポリシーへ能力を転移する蒸留手法を提案し、報酬モデルで教師介入を自動化するデータ収集パイプラインにより実世界3タスクで最大4.1倍の性能向上を実現した。
- VeriVLA: 潜在世界モデルによるフローベースVLAの適応的テスト時検証VLA2026/10/15
フローベースVLAの確率的な行動生成に対し、潜在世界モデルで候補を検証・選択する学習不要の手法を提案し、実機・シミュレーションで成功率を向上させた。
- Atomic-WAM:実行に基づく原子的動作推論によるワールドアクションモデルVLA2026/10/14
視覚言語推論器が次に行う局所動作を記述し、それをワールドアクションモデルが実行可能な行動に変換する枠組みを提案。実行成功率に基づく強化学習で推論器を調整し、実機→シミュレーション評価で有効性を示した。
- DVD: 動的ベクトルデコーディングによる効率的なMLLMベース知覚VLA2026/10/8
2D/3Dの知覚表現を1次元ベクトル列に変換し、コンパクトな離散トークンとしてMLLMで扱うことで、トークン数と推論遅延を削減しつつ高精度な知覚を実現する手法を提案。
- マルチエージェント視覚言語ナビゲーションの体系化:定式化・ベンチマーク・手法マルチエージェントVLN2026/9/28
複数ロボットが依存関係や資源制約のあるサブタスクを協調してこなす視覚言語ナビゲーションを初めて体系的に定式化し、大規模ベンチマークMAVLNと協調型ナビシステムTRISSを提案した論文。
- PanoVLN: パノラマ視覚と言語による効果的なナビゲーションナビゲーション2026/9/28
パノラマ画像を用いた視覚言語ナビゲーションにおいて、行動予測・訓練監督・視覚表現を改良し、より広い視野を活かした長期的な行動計画と経路選択を可能にする手法を提案。
- StreamPI: 視覚・言語・行動モデルのためのストリーミング型マルチモーダル時間モデリングVLA2026/8/26
単一フレームのVLAモデルに追加パラメータなしで時間的推論能力を付与するフレームワークを提案し、実ロボットタスクで有効性を実証した。
- SRL-MPC: 形状を考慮した強化学習モデル予測制御ナビゲーション2026/8/21
異なる形状のロボット群や群衆の中での安全で効率的なナビゲーションを実現するため、強化学習でMPCのパラメータを適応的に調整する手法を提案した。
- 教えて育てる:汎用ロボット学習のためのエージェント中心アーキテクチャVLA2026/8/17
この論文は、少数のデモから再利用可能なスキルブロックを学習し、新しいシーンでそれらを組み合わせてタスクを実行するエージェント中心のアーキテクチャ(TGL)を提案し、再学習の負担を軽減する。
- 大規模シーン再構成のためのローカルからグローバルへのループクロージャを備えたマルチサブマップ暗黙的ニューラルSLAMSLAM2026/8/10
NeRFベースのSLAMを大規模環境に拡張するため、マルチサブマップ構造と二段階のループクロージャ機構を導入し、記憶爆発を防ぎつつ高精度な再構成とロバストな位置推定を実現した。
- ProtoAct: ウェットラボのプロトコルを具現化ロボット動作へ変換するVLA2026/8/3
生物学のウェットラボ手順書を、状態を考慮したロボット実行可能な行動系列に変換するフレームワークを提案。手順の欠落や不整合を検出・修正し、JSON形式の関数系列にマッピングする。
- BioVLN: 生物医学実験室における視覚言語ナビゲーションのためのシミュレーションプラットフォームナビゲーション2026/7/1
生物医学実験室のロボットが機器の操作可能な側面から安全に接近することを考慮した、視覚言語ナビゲーションのためのシミュレーションプラットフォームを提案した。
- ACE-Brain-0.5:物理的エージェントAIのための統合具現化基盤モデルVLA2026/7/1
ロボット知能を空間知覚、意思決定、身体的行動、自己監視、自己改善の5機能に統合した、単一の8Bバックボーンによる閉ループ基盤モデルを提案する。
- Metis: 自動運転と都市ナビゲーションのための汎用かつ効率的なワールドアクションモデル自動運転2026/6/14
ビデオ生成と行動予測を分離したエンドツーエンドのワールドアクションモデルを提案し、推論時のビデオ生成を省略することで効率化しつつ、汎用性と性能を向上させた。
- Pipette: ウェットラボロボットのための具現化シミュレーションプラットフォーム、ベンチマーク、およびデータ効率的な拡張フレームワークシミュレーション/データ拡張2026/6/1
ウェットラボ(生物医学実験)ロボットの学習を効率化するため、カスタマイズ可能なシミュレータ、編集可能なアセット、限られたデモから訓練データを増強するパイプラインを備えたプラットフォーム「Pipette」を提案した。
- IR-SIM: ナビゲーション、学習、ベンチマークのための軽量スキルネイティブシミュレータシミュレーション2026/6/1
YAML設定だけでシナリオを定義できる軽量なナビゲーション用シミュレータIR-SIMを提案し、テキストからのシナリオ生成や学習データ生成、高忠実度シミュレータや実機への橋渡しを実現した。
- BioProVLA-Agent: 生物学的実験室操作のための手頃でプロトコル駆動・視覚強化・閉ループ推論可能なVLA搭載具身マルチエージェントシステムVLA/マルチエージェント/実験室自動化2026/5/1
生物実験室の自動化を目的に、プロトコルを入力として、LLMによるサブタスク分解、VLMによる状態検証、VLAによる実行を閉ループで行う低コストなマルチエージェントシステムを提案した。透明な実験器具や反射などの視覚的擾乱に強いオンライン拡張手法も導入している。
- MCNav: 記憶を考慮した動的認知地図によるゼロショット目標指向ナビゲーションナビゲーション2026/5/1
探索済み領域の情報を活用する記憶対応ナビゲーションフレームワークを提案し、目標の再検証と再探索戦略によりナビゲーション失敗を低減する。
- FASTER: リアルタイムフローVLAの再考VLA2026/3/1
フロー型VLAの反応遅延を分析し、Horizon-Aware Scheduleで直近動作のデノイズを1ステップに短縮してリアルタイム応答性を大幅に改善した手法を提案。
- ACE-Brain-0: 空間知能を共通の足場とする普遍的身体性知能基盤モデル2026/3/1
多様な身体(自動運転、ロボット、ドローン)を統合する基盤モデルを提案し、空間知能を共通の足場として、専門化と融合を経て高い性能を達成した。
- 視覚・音・言語・行動パラダイムに向けて:音中心操作のためのHEARフレームワーク操作2026/3/1
音をリアルタイムに活用した操作を実現するため、視覚・音声・言語・行動を統合した連続制御パラダイムVSLAを提案し、その実装としてHEARフレームワークを導入した。
- PILOT: 非構造環境での移動操作のための知覚統合型低レベルコントローラ移動操作2026/1/1
人間型ロボットが複雑な非構造環境で安定して移動しながら操作を行うため、知覚情報と固有感覚を融合し、複数の運動スキルを専門家混合で調整する単一の強化学習ポリシーを提案。シミュレーションと実機で有効性を検証。
- 夢から想起へ:想像誘導型経験検索による記憶持続型視覚言語ナビゲーションVLA2025/10/1
世界モデルが将来のナビゲーション状態を想像して検索クエリとし、視点に紐づけた観察と行動パターンの記憶から関連経験を選択的に引き出す記憶持続型VLN手法を提案。
- 不確実性を見通す:視覚ナビゲーションにおけるロバストなタスク指向最適化視覚ナビゲーション2025/10/1
視覚ナビゲーションでデータ不足時に生じる知覚の不確実性を凸集合としてモデル化し、ロバスト最適化と統合することで未知環境への汎化性能を高める学習フレームワークNeuROを提案した。
- 好奇心は道を開く:マルチエージェント文脈校正による好奇心駆動型探索マルチエージェント強化学習2025/9/1
マルチエージェント強化学習において、仲間の行動から文脈を推論して好奇心を動的に校正し、ノイズを除去して効率的な探索を実現する手法CERMICを提案。
- RationalVLA:デュアルシステムを備えた合理的視覚言語行動モデルVLA2025/6/1
曖昧・不可能な指示を拒否しつつ、実行可能な指示に基づくロボットアーム操作を行う二重システムの視覚言語行動モデルを提案し、新ベンチマークRAMAで評価した。
- 変形可能な表面における触覚センシングのための学習強化型電子皮膚:電気インピーダンストモグラフィに基づくアプローチ触覚2025/4/1
EITベースの触覚センサは軟体ロボットに有望だが表面変形で性能が劣化する問題に対し、深層学習で変形情報とEITデータを融合し触覚再構成する手法を提案し、シミュレーションとハイドロゲル電子皮膚実験で有効性を示した。
- BEV-GS: 鳥瞰図におけるフィードフォワードガウススプラッティングによる路面再構成路面再構成/ガウススプラッティング2025/4/1
単一フレームから鳥瞰図パラダイムで路面の形状とテクスチャを推定し、グリッドガウス表現でリアルタイムに高精度な路面再構成と新規視点合成を実現した。
- 想像による計画:視覚と言語によるナビゲーションのためのエピソード的シミュレーションとエピソード的記憶VLA2024/12/1
人間のエピソード的シミュレーションと記憶に着想を得て、エージェントが未来のシーンを想像しながら記憶を拡張するVLNアーキテクチャを提案し、SPLで最先端を達成した。
- PG-SLAM: 動的環境におけるフォトリアルで幾何学的に正確なRGB-D SLAMSLAM2024/11/1
ガウススプラッティングを拡張し、動的な人や物体の変形・動きをモデル化しつつ、フォトリアルな前景と静的背景を同時に再構成してカメラ位置推定を行うRGB-D SLAM手法を提案。
- 暗黙的シーン表現の不確かさを活用した視覚ナビゲーションの探索能力向上視覚ナビゲーション2024/11/1
NeRFの不確かさを利用して探索行動を促し、画像ゴールナビゲーションの性能を高めるエンドツーエンド手法を提案。
- FLAME: 都市環境におけるマルチモーダルLLMによるナビゲーション学習VLA2024/8/1
都市の視覚言語ナビゲーション向けに、3段階のチューニングでマルチモーダルLLMを適応させるエージェントFLAMEを提案し、Touchdownデータセットでタスク完了率を7.3%向上させた。
- 画像とLiDAR点群のエンドツーエンド2D-3D位置合わせによる車両自己位置推定位置推定2023/6/1
RGB画像と生の3D点群を直接位置合わせするエンドツーエンドの2D-3DレジストレーションネットワークI2PNetを提案し、複数データセットで高精度・高効率な自己位置推定を実現した。
- 容量性電子皮膚と深層学習によるソフトマニピュレータの触覚・変形知覚触覚2023/5/1
疎な電極配置の容量性電子皮膚と深層学習を組み合わせ、ソフトアクチュエータの触覚情報と変形情報を分離して認識・追跡する手法を提案した。
- ロボットが見えないものを見る:視覚ナビゲーションのための協調知覚学習視覚ナビゲーション2022/8/1
未知環境で移動ロボットが目標へ向かうため、複数の視覚センサーがGraph Neural Networkで情報を集約・通信し、最短経路方向を予測する手法を提案。シミュレーションと実世界で有効性を示した。
- 自動運転車のための生涯学習による適応型経路追従ポリシー制御/生涯学習2021/9/1
自動運転車の経路追従制御を、過去の走行経験からモデルフリーで学習し、生涯学習により破滅的忘却を防ぎながら多タスク知識を継続的に獲得・適応させる手法を提案した論文。
- マルチロボット計画の聖杯:オフライン最適専門家からオンライン拡張可能な解を学習する群制御2021/7/1
小規模系の最適解を学習して大規模マルチロボット計画へ転移するアイデアの課題を整理し、今後の研究方向を論じたブルースカイ論文。
- 位置合わせ支援による3D点群位置認識のためのドメイン適応ネットワーク位置認識2020/12/1
GTA-Vの仮想LiDARデータで学習し、構造認識型の位置合わせネットワークとグローバル特徴の整合により実世界ドメインへ適応させる3D点群位置認識手法を提案した。
- ベースコントローラを活用した長期的スパース報酬マニピュレーションタスクの学習マニピュレーション2020/11/1
既存の従来型制御器(ベースコントローラ)を探索・価値学習・方策更新に組み込み、長期的でスパース報酬のロボットマニピュレーションタスクを効率的に学習する手法を提案した。
- 仮想対応点を用いたエンドツーエンド3D点群位置合わせ学習点群位置合わせ2020/11/1
LPD-Netとself/cross-attentionで2つの点群の特徴を抽出し、ソフトポインタで仮想対応点を生成してSVDで位置合わせを解くエンドツーエンド手法を提案した論文。
- メッセージ依存アテンションを用いた大規模マルチロボット経路計画マルチロボット経路計画2020/11/1
分散型マルチロボット経路計画のため、受信メッセージの重要度を学習するメッセージ依存アテンション機構をGNNに組み込み、大規模環境でも高い成功率と汎化性能を示した研究。
- 大域的ガイド付き強化学習による動的環境での移動ロボット経路計画経路計画2020/5/1
環境の時空間情報を活用し、任意環境に汎化する新たな報酬構造を組み込んだ大域ガイド付き強化学習(G2RL)を提案し、分散型リアクティブ方式で多ロボット経路計画を解く。
- 動きと通信の不確実性を考慮した大規模ロボットネットワークの物流向け協調制御群制御2019/4/1
数千台規模の倉庫ロボット群を対象に、階層的な計画・協調構造でタスク割当・経路計画・衝突回避を行い、移動や通信の不確実性があっても安定的に協調できる手法を提案し、大規模シミュレーションと実機実験で有効性を示した論文。
- SeqLPD: 大規模点群記述と系列マッチングを強化したループ閉じ込み検出ループ閉じ込み検出2019/4/1
自動運転車のためのループ閉じ込み検出を、深層学習による点群の大域的記述子と粗から細への系列マッチング戦略を組み合わせて高精度かつリアルタイムに解決する手法を提案した。
