Jian Zhang
Texas A&M University
収録論文 50本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- フレシェ・フォーシング:短いクリップから長期的ストリーミング世界モデルを訓練する手法世界モデル2026/10/19
短い動画クリップで訓練したストリーミング世界モデルが長期ロールアウトで誤差蓄積により崩れる問題を、フレシェ距離に基づく3つの制約で微調整し、外部教師なしで長期的に安定した生成を実現した研究。
- 品質を考慮したVLA事前学習で重要な要素は何か:ベンチマークと実証研究VLA2026/10/13
VLA事前学習におけるデモ品質の活用法(重み付け・フィルタリング・条件付け)を比較し、品質タグの役割を検証するAXIS-Benchを提案。実世界実験で成功率が9.6%から31.7%に向上。
- EWAM:統合身体モデルにおける創発的な深さ方向の専門化——意味理解から視覚的先読み、行動までVLA2026/9/30
行動中心の統合身体モデルEWAMを提案し、層ごとの監督なしに浅い層で意味、中間層で予測未来、深い層で行動に注意が向く創発的な深さ方向の専門化が生じることを示した。
- Bench2Dex: 多様な器用ハンドにおける視触覚両手マニピュレーションのベンチマークマニピュレーション2026/9/14
12種類の器用ハンドに対応した共通の触覚インターフェースを備えるシミュレーションベンチマークを構築し、26の両手操作タスクと約1.3Kのテレオペデモを提供して視触覚マニピュレーションを評価可能にした。
- MiniWorld: ビデオワールドモデルのスクラッチ学習を民主化するビデオ生成2026/8/2
ビデオワールドモデルをスクラッチから効率的に学習するための軽量で再現可能なフレームワークMiniWorldを提案した。
- 運転シーン生成のための物理認識3Dガウシアン編集自動運転シミュレーション2026/5/25
道路形状の編集と車両ダイナミクスを統合し、物理的に整合性のある運転シーン生成を実現するシステムを提案。
- A1: 完全透過型オープンソースの適応的かつ効率的なトランケート型視覚言語行動モデルVLA2026/4/1
低コストで高スループットな推論を実現するため、事前学習済みVLMと適応的早期終了・層間トランケートフローマッチングを導入したVLAモデルA1を提案し、シミュレーションと実機でSOTA性能と推論コスト削減を達成した。
- SpatialStack: 3D VLM空間推論のための階層的幾何学-言語融合VLA2026/3/28
3D空間推論に弱い視覚言語モデルに対し、視覚・幾何・言語表現を階層的に融合するフレームワークを提案し、複数のベンチマークで最高性能を達成した。
- 状況計算とSTL反証による汎用ロボットの検証検証2026/1/1
自然言語指示で多様な作業を行う汎用ロボットの検証のため、状況計算による抽象的推論とSTLモニタリングによるシミュレーション反証を組み合わせた二層フレームワークを提案し、GR00Tコントローラの失敗事例を発見できることを示した。
- ReGlove: 手首装着カメラによる視覚誘導型ソフト空気圧グローブソフトロボティクス/アシスティブデバイス2025/12/1
低コストの市販空気圧リハビリグローブに手首装着カメラとエッジ推論を組み合わせ、筋電信号に頼らず日常生活動作を支援する視覚誘導型装具を実現した。
- ヒューマノイドに着想を得た因果表現学習によるドメイン汎化因果表現学習2025/10/18
人間の視覚処理を模した構造的因果モデル(HSCM)を提案し、色・テクスチャ・形状などの画像属性を分離・再重み付けすることで、ドメイン汎化性能と解釈性を向上させた。
- ReNiL: IMUを用いたイベント駆動型歩行者ベイズ位置推定の実世界応用位置推定2025/8/1
歩行者の慣性位置推定において、イベント駆動型のベイズ深層学習フレームワークReNiLを提案し、不確実性を考慮した高精度かつ効率的な位置推定を実現した。
- EgoDex:大規模一人称視点動画からの巧みな操作の学習マニピュレーション2025/5/1
Apple Vision Proで収集した829時間の一人称視点動画と3D手・指トラッキングデータからなる大規模データセットEgoDexを構築し、模倣学習のベンチマークを提供した。
- 取扱説明書を読んで家電を操作するロボットVLA2025/5/1
家電の取扱説明書を大規模視覚言語モデルで解釈し、記号的なモデルを構築して実際の操作に結びつけるロボットシステムApBotを提案した。
- A0: 汎用ロボットマニピュレーションのためのアフォーダンス認識階層モデルマニピュレーション2025/4/1
物体との接触点と接触後軌道を予測するアフォーダンス表現を用い、高レベルな空間理解と低レベル行動実行を階層的に分けた拡散モデルを提案。複数ロボットで汎用性と実世界性能を示した。
- ヒューマノイド方策~ヒューマン方策VLA2025/3/1
一人称視点の人間の操作データをヒューマノイドロボットの学習に活用するため、人間とロボットの状態行動空間を統合したHuman Action Transformer (HAT)を提案し、汎化性能とロバスト性を向上させた。
- ELEGNT:非人型ロボットのための表現的で機能的な動作設計非人型ロボット/HRI2025/1/1
ランプ型ロボットを題材に、機能と表現の両立を目指す動作生成フレームワークを提案し、ユーザー研究で表現重視の動作がエンゲージメントとロボットの印象を高めることを示した。
- ARMOR: ヒューマノイドロボットの衝突回避と動作計画のための自己中心知覚動作計画2024/12/1
ウェアラブル深度センサを活用した自己中心的な知覚システムARMORを開発し、模倣学習ポリシーと組み合わせてヒューマノイドロボットの動的な衝突回避と動作計画を実現した。
- ARMADA: 拡張現実によるロボット操作とロボット不要のデータ収集模倣学習データ収集2024/12/1
Apple Vision Proに仮想ロボットのリアルタイムフィードバックを重ねるARシステムを構築し、実機なしでもロボット模倣学習用の高品質な人間データを収集できることを15人のユーザー研究で示した。
- C2F-TP: 不確実性を考慮した軌道予測のための粗から細へのデノイジングフレームワーク軌道予測2024/12/1
車両軌道予測の不確実性に対処するため、時空間相互作用で多様な軌道を生成し、条件付きデノイジングで精緻化する二段階の粗から細への予測手法を提案した。
- EMOTION: 大規模言語モデルの文脈内学習によるヒューマノイドロボットの表情豊かな動作生成ヒューマンロボットインタラクション2024/10/1
大規模言語モデルの文脈内学習を活用し、人間とのインタラクションに適した表情豊かなジェスチャー動作列をヒューマノイドロボット向けに生成するフレームワークを提案し、ユーザー調査で人間と同等以上の自然さと理解しやすさを示した。
- DR-MPC: 実世界のソーシャルナビゲーションのための深層残差モデル予測制御ソーシャルナビゲーション2024/10/1
MPCとモデルフリー深層強化学習を組み合わせ、実世界の群衆ナビゲーションデータから安全に学習する手法を提案。シミュレーションと実機実験で有効性を示した。
- 局所ポリシーによるゼロショット長期的マニピュレーションsim2real2024/10/1
ロボットの絶対姿勢や物体配置に依存しない「局所ポリシー」を基盤モデルと組み合わせ、シミュレーションから実機へのゼロショット転移で最大8段階の長期タスクを実現した。
- MakeWay: LiDARを用いた物体認識型コストマップによる先読み屋内ナビゲーションナビゲーション2024/8/1
LiDARの3D物体検出と追跡で物体マップを構築し、物体のアフォーダンスに基づくコストマップで先回り的な衝突回避を実現する屋内ナビゲーションシステムを提案した。
- SkillMimic: デモンストレーションからバスケットボールのインタラクションスキルを学習模倣学習2024/8/1
人間と物体のインタラクションを模倣する統一的な報酬設計で、バスケットボールのドリブル・レイアップ・シュートなど多様なスキルを単一の方策で学習し、スキル遷移や長期タスクも可能にした研究。
- OpenGaussian: 3Dガウシアンを用いた点レベルのオープンボキャブラリ理解3D理解2024/6/1
3Dガウシアンスプラッティングを基盤に、3D点レベルでのオープンボキャブラリ理解を実現する手法を提案。インスタンス特徴の3D一貫性学習と2段階コードブック、3D-2D特徴連携により、従来の2Dピクセルレベルの手法を超える性能を示した。
- 埋め込みポーズグラフ:コンパクト表現で3D基盤モデル機能を実現3D表現/ナビゲーション2024/3/1
ポーズグラフのノードに基盤モデルの特徴量を付与することで、ボクセルや点群より軽量かつスケーラブルに3D空間を表現し、開語彙クエリや言語誘導ナビゲーション、再位置推定などを可能にする手法を提案した。
- Region-Transformer: 自己注意領域ベースのクラス非依存点群セグメンテーション点群セグメンテーション2024/3/1
領域成長法に自己注意機構を組み合わせ、意味ラベルなしで点群をクラス非依存にセグメンテーションするRegion-Transformerを提案。
- 言語支援による3Dシーン理解3Dシーン理解2023/12/1
LLMでテキストを拡張し、統計的・訓練不要な特徴選択で冗長性を除去することで、点群特徴学習を言語支援する手法を提案。3Dセマンティックセグメンテーション等で高性能を達成。
- PhysHOI: 物理ベースの動的人間-物体インタラクション模倣模倣学習2023/12/1
タスク固有の報酬設計なしに、人間と物体の動的なインタラクションを物理シミュレーション上で模倣する手法を提案し、バスケットボールスキルを含むデータセットで検証した。
- 視覚ナビゲーションのためのマルチモーダル大規模言語モデル視覚ナビゲーション2023/10/1
複雑なプロンプト設計に頼らず、大規模言語モデルを視覚ナビゲーション用に微調整し、HM3Dデータセットの人間のデモと衝突信号で学習させて、衝突率を低減しつつ既存手法を上回った。
- 階層潜在モデルによる共有可能な運転スタイルの学習と分析運転行動モデリング2023/10/1
運転行動を潜在的な運転スタイルの重み付き混合への応答系列と捉え、階層潜在モデルで個人間・個人内で共有される運転スタイルを学習・分析した研究。
- 人物再識別を用いた移動ロボットの人間追従人間追従2023/9/1
360度視覚登録・顔と胴体のニューラル再識別・動き追跡を組み合わせ、群衆や遮蔽物があっても対象者を追従できる移動ロボットシステムを提案した。
- 物体SLAMのための統合フレームワーク:データ関連付け・マッピング・高次タスク物体SLAM2023/5/1
物体ベースの知覚とロボットタスクに焦点を当て、複雑な状況下でのデータ関連付け、外れ値に頑健な物体モデリング、軽量な物体指向マップ、トポロジカルマップによるマルチマップマッチング、把持シナリオでの能動的探索を統合した物体SLAMフレームワークを提案。
- 自己教師あり物体ゴールナビゲーションと実環境でのオンライン微調整物体ナビゲーション2022/12/1
位置一貫性を自己教師信号として使うことで、ラベル付き3Dメッシュに頼らず物体ナビゲーションエージェントを学習し、実環境でのオンライン微調整も可能にした研究。
- SAFER: 強化学習と効率的軌道探索による安全な衝突回避衝突回避2022/9/1
操作者の制御指令を補正し、強化学習と探索ベースの軌道計画、自動緊急ブレーキを組み合わせて、実環境で安全に学習しながら衝突回避性能を高めるシステムを提案した。
- EDA: 3D視覚グラウンディングのための明示的テキスト分離と密なアラインメント3D視覚グラウンディング2022/9/1
文を属性ごとに明示的に分離し、細粒度の言語特徴と点群オブジェクトを密に対応付ける3D視覚グラウンディング手法を提案。物体名なしで対象を特定する新タスクも導入し、複数データセットで最高性能を達成した。
- 予見可能な未来:屋内ナビゲーションのための動的シーン予測自己教師あり学習ナビゲーション2022/8/1
3D LiDARから将来の時空間占有グリッドマップを自己教師あり学習で予測し、屋内ナビゲーションに活用する手法を提案。
- 信号交差点における電動コネクテッド車のエコドライビング:パラメータ化強化学習アプローチVLA2022/6/1
信号交差点での電動コネクテッド車のエネルギー効率を改善するため、モデルベースの追従・車線変更方策と強化学習を統合し、縦横制御を階層的にパラメータ化して学習する枠組みを提案した。
- 信号交差点における自動運転車と手動運転車の混在プラトーン制御のための強化学習方策:ランダムサーチアプローチプラトーン制御2022/6/1
信号交差点でCAVと手動運転車が混在する電気自動車プラトーンを対象に、拡張ランダムサーチを用いた強化学習で先頭車両の縦方向運動を制御し、エネルギー消費を最大82%削減できる方策を学習した研究。
- BPニューラルネットワークによるソフトバイオミメティックアクチュエータの逆運動学予測ソフトロボティクス2021/10/1
3室駆動のソフトアクチュエータの逆運動学をBPニューラルネットワークで学習し、解析モデルより高精度に先端位置と印加圧力の関係を推定した研究。
- 移動ロボットとUAVのための機械学習を用いた経路計画・ナビゲーション・制御アルゴリズム経路計画/強化学習2021/10/1
強化学習とリアクティブナビゲーションを組み合わせ、未知の静的・動的環境で移動ロボットやUAVが衝突を避けつつ最適経路を計画・制御する手法を提案し、シミュレーションで検証した。
- 動的環境での生涯ナビゲーションのための時空間占有グリッドマップ学習ナビゲーション2021/8/1
LiDARデータから将来の動的環境を埋め込んだ時空間占有グリッドマップを自己教師あり学習で生成・予測し、ナビゲーションに活用する手法を提案した論文。
- 屋内自律走行のためのLiDARセグメンテーションの自己教師あり学習自己教師あり学習/LiDARセグメンテーション2020/12/1
SLAMとレイトレーシングを組み合わせてLiDAR点群のセマンティックラベルを自動生成し、人手注釈なしで深層セグメンテーションモデルを訓練する手法を提案。走行を重ねるごとに自己改善し、複雑な環境でのナビゲーションや自己位置推定の性能向上を示した。
- 関係性模倣による視覚的敵対的模倣学習模倣学習2019/12/1
GANと関係性学習を組み合わせ、動画デモから視覚的模倣学習を行う手法を提案し、関係推論能力の向上が歩行タスクの性能を高めることを示した。
- ハチドリ型羽ばたきロボットによる極限機動の学習羽ばたきロボット2019/2/1
12gのハチドリ型ロボットで、モデルベース制御と強化学習を組み合わせ、0.2秒で後退しながら180度旋回する高速回避機動を実機で実現した。
- 羽ばたきで見る:狭所をナビゲートする羽ばたき翼ロボット羽ばたきロボット2019/2/1
羽ばたき翼の負荷変動から周囲の地形や障害物を感知し、視覚なしで狭い空間を飛行・ナビゲートする小型ロボットを実現した研究。
- Flappy Hummingbird:羽ばたき翼ロボットと生物のオープンソース動力学シミュレーションsim2real2019/2/1
ハチドリ規模の羽ばたき翼ロボットを高忠実度で再現するオープンソースシミュレータを構築し、実機との一致を検証したうえで強化学習制御のsim2real転移まで示した論文。
- 深層強化学習のための構造化制御ネット強化学習2018/2/1
方策ネットワークを非線形制御と線形制御の2つのサブモジュールに分割する構造化制御ネット(SCN)を提案し、サンプル効率・最終報酬・汎化性能の向上をMuJoCoやAtariなどで示した論文。
- 注意機構付きリカレントネットワークによる大域姿勢推定SLAM2018/2/1
局所姿勢推定・姿勢選択・グラフ最適化を組み合わせた微分可能なニューラルネットワーク「Neural Graph Optimizer」を提案し、SLAMをエンドツーエンドで学習可能にした。
