Jianwei Zhang
収録論文 54本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 低コスト移動型両腕マニピュレーションによる長期的トイレ清掃VLA2026/11/11
低コストで再現可能な移動型両腕ロボットプラットフォームを構築し、トイレ清掃という長期的タスクで複数のVLAモデルを実環境デモ250件で評価した。π0が最も高い成功率を示し、限定的な人間介入で90%に達した。
- 行動条件付き潜在予測によるヒューマノイドの移動操作の協調ヒューマノイド/移動操作2026/11/3
実行前に行動候補列を潜在空間で先読み評価するworld-actionモデルを提案し、ヒューマノイドの移動操作の成功率をシミュレーション・実機の両方で向上させた。
- ForceDelta-VLA: 接触の多いマニピュレーションのための力条件付き行動補正の蒸留VLA2026/9/16
力覚対応VLAポリシーを、参照行動と力補正に分解して蒸留するフレームワークを提案し、接触の多いタスクで成功率を54.4%から82.2%に向上させた。
- ReactVLA: 改良平均流アクション生成による高速・軽量なリアクティブロボット操作VLA/操作2026/6/1
拡散型VLAの推論遅延を改善するため、改良平均流アクション生成と注意残差機構を備えた軽量・低遅延なVLAフレームワークを提案し、シミュレーションと実機で性能と速度を向上させた。
- フローからワンステップへ:暗黙的最大尤度推定に基づく分布蒸留によるリアルタイムマルチモーダル軌道ポリシーVLA2026/3/1
条件付きフローマッチングの専門家を暗黙的最大尤度推定で単一ステップの生徒モデルに蒸留し、多様な動作モードを保ちながらリアルタイムな閉ループ制御を可能にした。
- MetaWorld-X: VLMが統括する階層的世界モデルによる人型ロボットの移動操作人型ロボット制御2026/3/1
人型ロボットの移動と操作を同時に行う制御を、専門エキスパートポリシーとVLMによるルーティングで階層的に分解し、自然で安定した全身制御を実現する手法を提案した。
- ReTac-ACT: 精密組立のための状態ゲート型視覚-触覚融合トランスフォーマーマニピュレーション2026/3/1
視覚が遮蔽される精密組立の最終段階で、触覚情報を動的に重視するゲート機構と双方向クロスアテンションを備えた視覚-触覚模倣学習ポリシーを提案し、NISTベンチマークで高い成功率を達成した。
- OmniDexVLG:視覚言語モデルが導く把持意味論・分類・機能的アフォーダンスからの器用な把持生成学習マニピュレーション2025/12/1
言語と視覚の指示に基づき、把持分類・接触意味論・機能的アフォーダンスを統合的に扱う器用な把持生成フレームワークを提案。大規模データ生成パイプラインとマルチモーダル推論モジュールを組み合わせ、意味的に制御可能な把持を実現する。
- 責任あるロボットマニピュレーションのベンチマーク:マルチモーダル大規模言語モデルによる評価マニピュレーション2025/12/1
電気・化学・人関連の危険を含む23の多段階タスクで、ロボットがリスク検知・安全推論・行動計画・人間支援要請を行う能力を評価するベンチマークを提案。
- ヒューマノイドロボットの顔面感情表現の覚醒表情生成2025/10/1
生体模倣型のロボット顔とKAN・注意機構による学習フレームワークを構築し、表情模倣を自動獲得する手法を提案。ヒューマノイドロボット向け初のオープンソース表情データセットも公開した。
- 時空間ニューラルネットワークによる外力下の連続体ロボット形状推定連続体ロボット/形状推定2025/10/1
腱駆動連続体ロボットの形状を、腱変位の時系列データとRGB画像を融合する時空間ニューラルネットで推定し、外力下でも高精度に点群とベジェ曲線を生成する手法を提案した。
- FunCanon: 機能的な物体正規化による姿勢認識型行動プリミティブの学習と汎用ロボットマニピュレーションマニピュレーション2025/9/1
長期的なマニピュレーションタスクを行為者・動作・対象からなる行動チャンクに分解し、大規模視覚言語モデルのアフォーダンス手がかりで物体を共通の機能座標系に正規化することで、カテゴリレベルで汎化し再利用可能な拡散ポリシーを学習する枠組みを提案。
- M4Diffuser: 多視点拡散ポリシーと可操作度を考慮した制御による堅牢な移動マニピュレーション移動マニピュレーション2025/9/1
多視点の拡散ポリシーで目標を生成し、可操作度を考慮したQP制御器で移動ロボットの全身協調動作を実現する手法を提案。シミュレーションと実機で成功率向上と衝突低減を達成。
- DORA: 物体アフォーダンス誘導による器用なロボットマニピュレーションのための強化学習マニピュレーション2025/5/1
物体のアフォーダンスマップを活用し、把持姿勢の候補生成と投票型分類で意味的に妥当な制約を与えることで、多指ハンドの強化学習を効率化しタスク成功率を平均15.4%向上させた。
- 身体性AI時代における物理シミュレータを用いたロボットナビゲーションとマニピュレーションの調査sim2real2025/5/1
物理シミュレータがsim-to-realギャップをどう埋めるかに着目し、ナビゲーションとマニピュレーションのタスク、ハードウェア要件、ベンチマークデータセットや評価指標を調査したサーベイ。
- 深層Koopmanモデル予測制御による多セグメントソフトロボットの制御ソフトロボティクス2025/5/1
深層学習でKoopman作用素を近似してソフトロボットの非線形ダイナミクスを線形化し、モデル予測制御で高精度な軌道追従を実現した。
- SoccerDiffusion: 試合記録からエンドツーエンドのヒューマノイドサッカーを学習するVLA2025/4/1
RoboCupの試合記録からトランスフォーマー拡散モデルでヒューマノイドロボットのサッカー制御を直接学習し、蒸留により実機でリアルタイム推論を実現した。
- FABG:身体性を持つ感情的人間-ロボットインタラクションのためのエンドツーエンド模倣学習模倣学習/ヒューマンロボットインタラクション2025/3/1
VRで操作者がロボット視点を体験してデモを収集し、遅延補償付きのエンドツーエンド模倣学習で自然な表情・視線・ジェスチャーを生成するシステムを25自由度ヒューマノイドに実装した。
- カリキュラム強化学習による回転卓球ボールのシミュレーション捕球sim2real2025/3/1
カリキュラム強化学習とReal2Sim転移を用いて、強い回転がかかった卓球ボールをロボットが捕球できるようにする手法を提案した論文。
- ロボットを危険にしないで:安全をポリシーとする責任あるロボットマニピュレーションマニピュレーション2024/11/1
人間の指示を無思考に実行すると危険が生じるため、世界モデルで危険シナリオを生成し、メンタルモデルで安全認知を育成するSafety-as-policyを提案し、安全なロボット操作を実現した。
- PAVLM:視覚言語モデルによる点群のアフォーダンス理解の高度化アフォーダンス理解2024/10/1
大規模言語モデルの知識を活用し、点群データから3D物体の操作可能領域(アフォーダンス)を高精度に理解するフレームワークPAVLMを提案。
- ClearDepth: ロボットマニピュレーションのための透明物体のステレオ知覚強化透明物体知覚2024/9/1
透明物体の深度を高精度に推定するVision Transformerベースのステレオアルゴリズムを開発し、Sim2Realデータ生成と特徴後融合モジュールでロボット操作を支援する。
- 3Dマルチエンティティ物理環境における部分同変強化学習強化学習/マルチエージェント2024/7/1
複数エンティティからなる3D環境で、タスク割当てにより局所グラフに分解し、部分同変メッセージパッシングで効率的に方策を学習するSHNNを提案し、新ベンチマークMEBENで有効性を示した。
- RoboGolf:反射的マルチモーダル視覚言語モデルによる実世界ミニゴルフの習得VLA2024/6/1
2台のカメラによる知覚と閉ループ行動修正、さらに反射的均衡ループを組み合わせたVLMベースの枠組みで、実世界のミニゴルフをプレイするロボットを実現した。
- ContactDexNet: 接触セマンティックマップによる多指ロボットハンドの混雑環境把持マニピュレーション2024/4/1
物体点群から接触セマンティックマップを生成し、多指ハンドの把持姿勢を推定・評価することで、混雑環境でも高い成功率で把持を実現する手法を提案した。
- 基盤モデルがマニピュレーションのロボット学習にもたらすもの:サーベイマニピュレーション2024/4/1
基盤モデルをロボットのマニピュレーション学習に統合するための包括的枠組みを提案し、各モジュールでの課題と貢献、今後の研究方向を整理したサーベイ。
- ToolEENet:道具のアフォーダンス6D姿勢推定マニピュレーション2024/4/1
道具の把持時の遮蔽に対応するため、道具のエンドエフェクタのアフォーダンス分割と6D姿勢推定を行うデータセットと拡散モデルベースのフレームワークを提案。
- 入力遅延のない滑らかな計算:ロボットマニピュレータ計画のためのロバストチューブ型モデル予測制御マニピュレーション2024/3/1
モデル予測制御の計算遅延を、次状態を予測して1ステップ先に最適制御問題を解くことで解消し、線形化誤差の上限を設けて応答速度を最大90%向上させた。
- 散乱環境における衝突を考慮したケーブル把持手法マニピュレーション2024/2/1
物理シミュレーションで生成したデータセットと衝突を考慮したCNNを用いて、散乱したケーブルをロボットが把持する手法を提案し、未知のケーブルでも高い成功率を達成した。
- RobotGPT: ChatGPTからロボットマニピュレーションを学習マニピュレーション2023/12/1
ChatGPTを専門家として活用し、安定性と安全性を重視したロボットマニピュレーションの学習フレームワークを提案。タスク成功率を38.5%から91.5%に向上させた。
- 強化学習による閉ループ多視点ビジュアルサーボイング手法ビジュアルサーボイング2023/12/1
強化学習を用いて多視点の視覚情報からロボットの動作を推定し、自己衝突や特異点を考慮したビジュアルサーボイングを実現するフレームワークを提案。シミュレーションで平均成功率97.0%を達成。
- 汎化可能な視聴覚ナビゲーションのための意味非依存・空間認識表現の学習視聴覚ナビゲーション2023/4/1
未聴の音カテゴリや未知の地図への汎化を目指し、意味に依存せず空間を認識する視聴覚表現を補助タスクで学習するプラグアンドプレイ手法を提案。
- PoseFusion: SelectLSTMによるロバストな把持物体の姿勢推定マニピュレーション2023/4/1
多指ハンドでの把持物体の6D姿勢を、視覚・触覚・固有感覚を統合しSelectLSTMで最適候補を選ぶことで高精度に推定する手法を提案。
- 掴めない姿勢からのプッシュ&グラスプ強化学習マニピュレーション2023/2/1
掴めない姿勢の物体をテーブル端に押し出してから掴むため、プッシュとグラスプを単一の強化学習ポリシーで統合し、実機へ転移可能にした研究。
- Sim-to-Real転移学習による高精度モデルフリー把持sim2real2023/1/1
ドメインランダム化とデータ拡張で大規模把持データセットを生成し、Sim-to-Real転移学習と把持最適化器を組み合わせて、未知物体を含む高精度なモデルフリー把持を実現した。
- 暗黙推定と視覚的アフォーダンスによる6自由度タスク指向把持検出の学習マニピュレーション2022/10/1
物体の点群からタスクごとに多様な6自由度把持姿勢を予測する枠組みを提案し、シミュレーションで学習して実機でも安定して把持を実行できることを示した。
- 環境制約を最大限活用する押し動作ベースのハイブリッド位置/力組立スキルマニピュレーション2022/8/1
接触の多い組立作業において、環境の制約を終了条件ではなく積極的に活用するため、押し動作を取り入れた位置/力ハイブリッド制御スキルを提案し、移動マニピュレータ実験で100%の成功率を達成した。
- CycleGANと力制御による視覚入力ロボット組立のSim-to-Real転移sim2real2022/8/1
シミュレーションで学習した視覚ベースの組立タスクを、CycleGANによるドメイン適応と力制御の転移で実機のペグ挿入に適用した研究。
- 深層形状生成によるロボット把持能力の向上マニピュレーション2022/6/1
AutoEncoderで物体形状を低次元空間に埋め込み、希少性と把持しやすさのスコアに基づいて新しい形状を生成し、把持データセットを拡張することで学習ベースの把持計画ネットワークの性能を向上させた。
- 接触ダイナミクス運動プリミティブと強化学習によるインピーダンス適応インピーダンス制御2022/3/1
DMPで位置・力軌道を教示し、強化学習でインピーダンスをオンライン適応させる手法を提案し、ペグ挿入と粘着テープ貼付で有効性を示した。
- 磁気駆動テザーカプセルロボットの摩擦モデル学習磁気駆動ロボット2021/9/1
磁気駆動テザーカプセルロボットを設計し、カプセルと環境間の摩擦力を学習ベースでモデル化して位置制御精度を向上させた研究。
- TransSC: 把持評価のためのTransformerベース形状補完形状補完2021/7/1
部分点群から物体形状を補完するTransformerエンコーダと多様体デコーダを組み合わせたモデルを提案し、把持候補生成の精度と実機把持成功率を向上させた。
- 適応力制御を併用したテレオペレーションによる柔軟把持・操作の学習テレオペレーション2021/7/1
視覚ベースのテレオペレーション学習に生体模倣型の適応コンプライアンス制御を組み合わせ、人間の手の動きから多指ロボットハンドの柔軟な把持・操作を実現した研究。
- 教示学習と探索学習を組み合わせた接触を伴う作業の効率的な教示教示学習2021/3/1
視覚サーボによる教示学習と力覚強化学習による探索学習を統合し、接触を伴う作業を少ないユーザ負担で素早く直感的に教示できるフレームワークを提案した。
- トルク制御ロボットによる接触の多いタスクのための能動的行動と視覚残差強化学習マニピュレーション2020/10/1
視覚と触覚を強化学習に統合し、能動的行動の導入で部分観測問題に対処することで、トルク制御ロボットによるRAM挿入タスクの環境変動への頑健性とサンプル効率を向上させた研究。
- シミュレーション学習による物体押し操作のための自己適応型リカレントモデルマニピュレーション2020/7/1
物理シミュレータ上でLSTMベースの押し操作ダイナミクスモデルを学習し、実機では数ステップで対象物体の動特性に適応するRMPPI制御を提案した論文。
- 重心推定に基づく触覚・視覚センサを用いた未知物体のロバスト把持計画マニピュレーション2020/6/1
触覚・視覚センサと滑り検出器のフィードバックを用いて物体の重心位置を推定し、未知物体に対する最適な把持姿勢を再計画する手法を提案した論文。
- 呼吸で動く椎骨へのロボット支援椎弓根ドリル穿孔におけるモデルベースの位置補償と穿孔状態認識医療ロボティクス2020/6/1
呼吸による椎骨の動きを患者自身の生理データから予測して補償し、穿孔状態を認識する手法を開発。ブタ骨実験で95%の成功率を達成した。
- 視覚とIMUによる移動ロボットのハンド・アーム遠隔操作システム遠隔操作2020/3/1
深度カメラによる手指姿勢推定ネットワーク(Transteleop)とIMUによる腕追跡を組み合わせ、移動ロボットのハンドとアームを同時に遠隔操作するマルチモーダルシステムを提案した。
- 聴覚と触覚を融合した頑健なロボット注ぎ動作マルチモーダル知覚2020/3/1
音と力覚のマルチモーダル入力から液面高さを予測するMP-Netを提案し、騒音や遮蔽に頑健な注ぎ動作を実現した。
- 音響振動で液体の高さを推定するロボット注ぎ技術音響センシング2019/3/1
ロボット注ぎ作業において、音響振動センシングと深層学習モデルPouringNetを用いて液体の高さを推定し、不透明容器でも高精度に汎化できることを示した論文。
- 注意機構に基づく視覚解析による多指ロボットハンドの高速把持計画把持計画2018/9/1
視覚的注意モデルで物体の注目領域を特定し、深層畳み込みニューラネットで把持タイプと把持点を検出することで、多指ハンドの把持計画を高速化・安定化させるフレームワークを提案した論文。未知物体や混雑環境にも対応できる。
- PointNetGPD:点群から把持姿勢を検出する軽量評価モデル把持検出2018/9/1
グリッパー内の生の3D点群を直接入力し、把持構成を評価する軽量なエンドツーエンドモデルを提案。35万件の大規模把持データセットで学習し、新規物体や散らかった環境での把持・除去タスクで既存手法を上回る性能を示した。
- 深層学習による影の器用な手のビジョンベース遠隔操作遠隔操作2018/9/1
人間の手の深度画像からロボットハンドの関節角を直接生成するTeachNetを提案し、マーカーレスで高精度な遠隔操作を実現した。
