Jianfei Yang
Nanyang Technological University
収録論文 73本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- WorldFoundry：世界知能のための統合インフラストラクチャ世界モデル2026/11/7
生成的世界モデルの定義と評価枠組みを提示し、動画・3D/4D・身体行動・対話型世界システムの推論と評価を再現可能にするオープンソース基盤WorldFoundryを提案した論文。
- 行動そのものではなく行動のダイナミクスを学ぶODEポリシーロボット学習2026/11/1
ニューラルODEで行動のベクトル場を学習し、前の行動から積分して連続的な軌道を生成するロボットポリシーを提案。模倣学習・RL・VLAなど多様な設定で成功率と滑らかさを大幅に改善した。
- タスク別事前分布とスケジュールでフロー方策を再構築するマルチタスクロボット操作VLA2026/10/27
フロー方策の生成開始点と補間スケジュールをタスクごとに適応させ、言語条件付きマルチタスク操作の性能と推論効率を向上させた研究。
- RynnUnify：統合型身体性ブレインへの挑戦VLA2026/10/23
動画と言語の交互推論で身体的理解と長期視覚計画を統合した16Bモデルを提案し、強化学習によるエージェント拡張とロボット制御への拡張も実現した。
- 動的運動プリミティブを用いた実演ベースのロボット食事支援マニピュレーション2026/10/22
人間のスプーン操作をモーションキャプチャで記録し、動的運動プリミティブで学習して、RGB-DカメラとAprilTagsで口やトレイの位置を認識しながらロボットアームが食事を運ぶシステムを構築した。
- 汎用マルチモーダルモデルによる直接ロボット制御の実力評価VLA2026/10/20
GPT-6 Astraを軽量エージェント枠組みで閉ループ操作に適用し、深度知覚・文脈学習・触覚活用などの身体能力と5つの操作ベンチマークでの性能を体系的に評価、意味推論と物理実行の乖離を明らかにした論文。
- DexGraspFlow：運動学的トポロジーを考慮したSE(3)フローマッチングによる異なるハンド構造への器用な把持生成マニピュレーション2026/10/18
リンク間の幾何関係と運動学的トポロジーを統合した条件付きSE(3)フローマッチングで、異なるロボットハンド構造にまたがる器用な把持姿勢を生成する手法を提案した。
- SimpleVLN：シンプルかつ最先端の視覚言語ナビゲーションVLA2026/10/16
MLLMをそのまま活かす設計で、履歴管理・データ構築・段階的最適化を工夫し、視覚言語ナビゲーションで高い成功率を達成した研究。
- MOSS: ロボットフローマッチング方策のためのモード指向ソース整形マニピュレーション2026/10/15
フローマッチング生成方策の初期ノイズをモードごとに整形し、推論時にどの行動モードを実行するかを明示的に選択可能にした手法を提案。
- TacClaw-Infinity: 巧みな操作のための大規模視覚・触覚・言語・行動データセット触覚2026/10/14
触覚対応のハンドヘルド型デバイスで世界中から収集した1万時間・100万エピソード超の視覚・触覚・言語・行動データセットを構築し、異なるロボット間での転移を実証した。
- 品質を考慮したVLA事前学習で重要な要素は何か：ベンチマークと実証研究VLA2026/10/13
VLA事前学習におけるデモ品質の活用法（重み付け・フィルタリング・条件付け）を比較し、品質タグの役割を検証するAXIS-Benchを提案。実世界実験で成功率が9.6%から31.7%に向上。
- CoLA: 学習済みアダプタによる複数VLAの協調VLA2026/10/11
各エージェントのVLAを凍結し、軽量なメッセージチャネルと拡散行動ヘッドを学習させることで、情報が私的な場合にのみ明示的通信が有効となる分散協調手法を提案。
- Δフローマッチング：ロボット基盤モデルのための効率的生成VLA2026/10/11
過去の履歴をノイズ付きで初期分布に用いるΔフローを提案し、VLAやWAMの学習・推論を大幅に高速化しつつ動作の滑らかさと汎化性能を向上させた。
- FreeSpeed: 生成ロボットポリシーのための訓練不要な速度制御模倣学習/速度制御2026/10/5
事前学習済みポリシーの行動チャンクを後処理し、隣接行動の方向不一致を信号に実行速度を適応的に調整する訓練不要モジュールを提案。シミュレーションと実機で成功率を保ちつつ0.22倍から2.53倍の速度制御を実現した。
- TUCO: シミュレーション実演のキュレーションによるSim-to-Realロボット方策の共訓練sim2real2026/10/4
シミュレーション実演を能動的に選別するデータキュレーション手法TUCOを提案し、影響関数を用いて軌道の有用性と集合の網羅性を評価することで、Sim-to-Real方策共訓練の性能を向上させた。
- LIBERO-MAX：世界が変化したときロボット政策は適応するか？VLA2026/9/29
タスク実行中に環境変化が起きた際のロボット政策の頑健性を評価する8,000ペアのベンチマークLIBERO-MAXを提案し、14のVLA政策が11.0〜25.7ポイントの成功率低下を示すことを明らかにした。
- RawVLA: ロボットマニピュレーションのための身体性ニューラル画像信号処理プロセッサVLA2026/9/29
VLAモデルが通常使うRGB画像処理（ISP）を見直し、RAWデータから適応的に画像を生成するニューラルISPを提案。劣化した撮像条件下でもマニピュレーションの頑健性を大幅に向上させた。
- mmHRI: ミリ波レーダによるプライバシー保護型ヒューマンロボットインタラクションHRI2026/9/28
ミリ波レーダで人の動作と3D姿勢を推定し、それをテキスト指示に変換してVLAポリシーを制御する、プライバシー保護型のロボットマニピュレーション枠組みを提案した。
- F4R: 失敗駆動型の認識・再構築・洗練・再展開によるロボットの継続的自己改善マニピュレーション2026/9/28
ロボットの失敗を自動で診断し、シミュレーション環境で再構築して強化学習で改善する閉ループ学習フレームワークを提案。実世界での追加デモ収集なしに、4つのマニピュレーションタスクで高い成功率を達成した。
- 高速計画と忠実な行動：階層型視覚言語行動モデルにおける計画・実行ギャップの解消VLA2026/9/25
階層型VLAの計画器と実行器の不一致を分析し、ブロック自己回帰デコーディングと正規化ゴール変調で計画遅延を8.7倍削減しつつ計画の活用を改善した。
- MemBodied: 視覚-言語-行動モデルのための再帰的連想記憶VLA2026/9/23
VLAモデルに固定サイズのエピソード記憶を導入し、過去の観測を保持せずに履歴依存のマニピュレーションタスクを高成功率で実現した。
- RoboDreamer: 予測状態空間モデルによる先読み型ヒューマノイド歩行歩行2026/9/7
観測マスキングと蒸留を用いた2段階教師-学生フレームワークで、不完全なセンシング下でも安定したヒューマノイド歩行を実現する。
- 物理フィルタリングがロボット学習の汎化を促進するロボット学習/汎化2026/8/24
この論文は、物理フィルタリングによるフィードバック機構（PhyFilter）を提案し、限られた訓練データでもロボットが動的環境の不確実性に対して効果的に汎化できることを示した。
- 統一条件・行動モデリングによる高精度ワンステップ行動生成マニピュレーション2026/8/17
条件と行動を共有トークン空間で統一的にモデリングするUCA-Flowを提案し、推論速度を大幅に向上させつつ成功率を9.3ポイント改善した。
- GaussianDWM++: 言語基盤の3Dガウス駆動世界モデルによる統一的なシーン理解・編集・マルチモーダル生成世界モデル/3Dシーン理解2026/8/17
3Dガウス表現に視覚言語特徴を蒸留し、シーン理解・言語推論・4D編集・マルチモーダル生成を単一フレームワークで統合した駆動世界モデルを提案した。
- ω-0: 人間型ロボットの同時移動操作のための潜在予測世界行動モデルヒューマノイド2026/8/1
言語指示と視覚・状態入力から、移動と操作を同時に行う全身行動を直接予測する世界行動モデルを提案し、実機で11種類の家庭タスクを達成した。
- 物理的インタラクションの学習：触覚・力覚を考慮したロボット学習のサーベイ触覚・力覚学習2026/8/1
触覚・力覚センシングを統合したロボット学習手法を、マルチモーダルかつ多段階のシステム設計の観点から統一的な分類学TF-ARTを用いて整理し、今後の研究課題を考察したサーベイ論文。
- RynnValue: 時間的距離によるロボット価値基盤モデルのスケーリング価値基盤モデル2026/8/1
ロボット操作のための価値基盤モデルRynnValueを提案。時間的距離を報酬ラベルとして用いることで、大規模データから好みラベルなしで学習し、実世界の成功率を向上させた。
- RynnBrain 1.1：より高機能で汎用的な具現化基盤モデルを目指してVLA/基盤モデル2026/7/1
RynnBrain 1.1は、2Bから122B-A10Bまでの規模を持つ具現化基盤モデル群で、接触点予測や3Dグラウンディングを導入し、ロボット操作に直接対応する表現と出力を実現。実機実験では、Qwenベースや汎用VLAを上回る性能を示した。
- FORGE: キーポイント軌道推論による機能的一般化を目指したツール使用マニピュレーション2026/7/1
ロボットが特定の道具にしか使えない問題を解決するため、道具の機能に基づく一般化を実現する手法を提案。キーポイント軌道を中間表現として用い、機能推論と動作実行を分離する2段階ポリシーを開発し、未見の道具での成功率を2倍以上向上させた。
- 身体化操作のためのデータピラミッド：サーベイデータ収集/身体化AI2026/7/1
実ロボットデータからシミュレーションデータまで、身体化エージェントの学習に使われる5つのデータ源をピラミッド構造で整理し、各データの特性と組み合わせ方を分析したサーベイ論文。
- AXIS：拡張可能なロボット操作のためのコミュニティ駆動型データエンジンデータエンジン/操作学習2026/7/1
ブラウザベースの遠隔操作で大規模なデモ収集を可能にし、タスクの自動生成・検証とデータ品質向上を組み合わせた、拡張可能なロボット操作学習用データエンジンとベンチマークを提案。
- 統一空間意味プロンプトによる身体化視覚追跡と潜在ダイナミクス学習視覚追跡2026/6/24
身体化視覚追跡において、言語のみのターゲット指示では曖昧さが生じる問題を解決するため、空間的・意味的プロンプトを統合したフレームワークUSSを提案し、実ロボット実験で有効性を示した。
- GIVE: 視覚言語行動モデルにおける人間のジェスチャーの接地VLA/ジェスチャー理解2026/6/1
人間のジェスチャーを視覚・意味の2経路でVLAモデルに統合し、曖昧な指示でも物体接地と操作意図の推定を改善する手法を提案。実世界実験で成功率を大幅に向上させた。
- APEX: 精密操作のための適応的ポリシー実行マニピュレーション2026/6/1
ポリシーと低レベル制御器の間に挿入するプラグアンドプレイ型フレームワークを提案し、実行ギャップを埋めて操作成功率を向上させた。
- 視覚運動ポリシー学習における暗黙的空間表現の再考模倣学習2026/6/1
空間ソフトマックスプーリングがロボット操作の視覚表現として有効であることを示し、その限界を克服する新しいエンコーダPRISMを提案した論文。
- ActiveVital: ホームヘルスケアロボットのための幾何学を考慮した身体装着型バイタルサイン計測ヘルスケアロボティクス2026/6/1
家庭用ロボットが非接触で呼吸数と心拍数を正確に計測できるよう、ミリ波レーダーの観測角度を視覚情報で能動的に調整するフレームワークを提案した。
- ADAPT: 解析的擾乱認識型ポリシートレーニングによる人型ロコモーション歩行2026/6/1
外力による擾乱を物理モデルに基づく観測器で推定し、その情報をポリシーに直接入力することで、人型ロボットの外乱に対する頑健性と速度追従精度を向上させるフレームワークを提案した。
- EM-Fall: ヒューマノイドロボットによる昼夜を問わない転倒検知のための身体化ミリ波センシング転倒検知2026/6/1
移動型ヒューマノイドロボットにミリ波センシングを統合し、視点を能動的に調整して遮蔽や照明条件に影響されずに転倒を検知するフレームワークを提案した。
- AerialClaw: LLM駆動の自律型空中エージェントのためのオープンソースフレームワークドローン/LLMエージェント2026/6/1
自然言語のミッションを理解し、実行可能な空中スキルを呼び出し、フィードバックを閉ループで反映するLLMベースの自律UAVエージェントを実現するオープンソースフレームワークを提案する。
- MARSポリシー：必要な時だけマルチモーダルに模倣学習2026/5/1
ロボット操作の模倣学習において、タスクの全フェーズで多様性が必要とは限らないことに着目し、必要な時だけ確率的生成を適応的に行い、単一モードのフェーズでは決定的学習に切り替えるMARSポリシーを提案した。シミュレーションと実機で成功率向上と推論遅延削減を実証した。
- FLASH: スパースサンプリングによる効率的な視覚運動ポリシーVLA2026/5/1
拡散モデルやフローマッチングの反復処理による遅延を解消するため、ルジャンドル多項式で軌道を表現し、履歴係数から生成を開始することで単一推論で長い行動範囲を実現する高速な視覚運動ポリシーを提案した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- フィードバックワールドモデルによる拡散ポリシーの精密なガイダンスロボット操作2026/5/1
実行時の観測を利用して予測誤差をオンライン補正するフィードバックワールドモデルを提案し、分布シフト下での予測精度とポリシー性能を向上させた。
- Gaze2Act: 視線条件付き視覚言語行動ポリシーによる対話的ロボット操作VLA2026/5/1
人間の視線を意図信号として活用し、ロボット操作の精度を高める新しいVLAフレームワークを提案した論文。
- CompassAD: 機能が競合する物体における意図駆動型3Dアフォーダンス接地3Dアフォーダンス接地2026/4/1
複数の物体が同じ機能を持つ場合に、自然言語の意図に基づいて正しい物体の3Dアフォーダンス領域を特定する新しいタスクを提案し、ベンチマークと手法を構築した。
- OmniVLN: 空中・地上プラットフォームを横断する視覚言語ナビゲーションのための全方位3D知覚とトークン効率的LLM推論ナビゲーション2026/3/1
全方位3D知覚と階層的推論を組み合わせたゼロショット視覚言語ナビゲーションフレームワークを提案し、空中・地上ロボットの両方で動作する。
- AAAI 2026 RoCoチャレンジ：産業オートメーションに向けたロボット協調組立操作のベンチマーク協調操作/組立/ベンチマーク2026/3/1
産業用ロボットの協調組立操作を評価するため、惑星歯車組立タスクを用いたシミュレーションと実世界のチャレンジを開催し、データセットと評価システムを提供した。
- カメレオン：視覚運動操作のための制御インデックス型予測記憶マニピュレーション2026/3/1
観察と行動の間に時間差があるタスクで、過去の観察を記憶し将来の行動に活用するための視覚運動ポリシー「Chameleon」を提案し、実ロボットベンチマークで高い成功率を達成した。
- RoboForge: 物理最適化されたテキスト誘導型ヒューマノイド全身歩行歩行2026/3/1
テキストから生成した人間らしい動作をヒューマノイドロボットで物理的に実行可能にするため、物理的妥当性を最適化する双方向結合フレームワークを提案した。
- 実行履歴に着目した拡散ポリシーによる長期的ロボット操作における多峰性行動の曖昧性解消マニピュレーション2026/2/1
ロボットの実行履歴を視覚空間に投影して拡散ポリシーの条件に加えることで、長期タスクで観測が似ていても行動が異なる曖昧さを解消し、背景の乱れにも頑健にした手法を提案。
- RynnBrain: オープンな身体性基盤モデルVLA2026/2/1
知覚・推論・計画を統合した時空間基盤モデルRynnBrainを提案し、2B/8B/30B-A3B MoEの3規模と下流タスク向け4変種を公開、20の身体性ベンチマークで既存モデルを大幅に上回った。
- Action-to-Actionフローマッチング：固有感覚履歴を起点とした高速ロボット方策VLA2026/2/1
ランダムノイズではなく過去の固有感覚行動を起点にフローマッチングで行動生成する方策を提案し、1ステップ推論と高い汎化性能を実現した。
- WaveMan: ヒューマノイドロボットのためのミリ波による部屋規模の人間インタラクション知覚ヒューマンロボットインタラクション2026/1/1
ミリ波センシングを用いて、ユーザーの位置に依存せずプライバシーを守りながら部屋規模で人間のインタラクションを認識するシステムを提案し、未学習の位置でも高精度を実現した。
- RF-MatID: 無線周波数による材料識別のためのデータセットとベンチマークRFセンシング2026/1/1
4〜43.5GHzの広帯域RFデータ14.2万サンプルを収集し、深層学習モデルによる材料識別のベンチマークを構築した研究。
- ロボットはいつ「わからない」と言うべきか：身体性質問応答における棄権のベンチマークVLA2025/12/1
身体性質問応答（EQA）において、エージェントが答えを保留すべき状況を評価するベンチマークAbstainEQAを構築し、最先端モデルでも棄権の判断が難しいことを示した。
- 人間の意図から行動予測へ：意図駆動型エンドツーエンド自動運転自動運転2025/12/1
自然言語による高レベルな人間の意図を解釈して運転行動を生成する「意図駆動型エンドツーエンド自動運転」を定義し、大規模データセットと生成的ワールドモデルによる新評価指標IFAを備えたベンチマークIntention-Driveを構築した。
- M³Aポリシー：フォトメトリック再レンダリングによる可変材料操作拡張ポリシーマニピュレーション2025/12/1
単一の実演から光輸送に基づくフォトメトリック再レンダリングで多様な材料の実演を生成し、材料に依存しない操作ポリシーを学習する枠組みを提案。
- DIPOLE: 視覚と幾何を融合したロバストな視覚運動汎化VLA2025/11/1
視覚と言語・幾何の相補的なモダリティを訓練時のドロップアウトとクロスアテンションで融合し、照明や視点変化に強い拡散ポリシーを実現した。
- ロールモデル強化学習による精密ロボットマニピュレーションマニピュレーション2025/10/1
人間のデモンストレーションなしで、ロールモデル戦略によりオンライン学習データへ自動的にラベルを付与し、精密なロボット操作を実現する強化学習フレームワークを提案した。
- Mask2IV: マスク軌跡によるインタラクション中心の動画生成動画生成2025/10/1
人間やロボットが物体と相互作用する動画を、アクターと物体の軌跡を予測してから生成する2段階フレームワークで高品質に生成する手法。
- REI-Bench: 曖昧な人間指示を身体性エージェントは理解できるか？タスク計画2025/5/1
人間の曖昧な指示がLLMベースのロボットタスク計画に与える影響を評価する初のベンチマークを提案し、曖昧さが成功率を最大36.9%低下させることを示した。また、タスク指向の文脈認識により指示を明確化する手法を提案し、最先端性能を達成した。
- QLIO: 量子化LiDAR慣性オドメトリLiDAR-慣性オドメトリ2025/3/1
LiDAR慣性オドメトリをマルチプロセッサ分散構成で量子化し、残差データを圧縮して計算負荷と帯域を削減しつつ精度を維持するフレームワークを提案した。
- スパース点群を用いた教師なしUAV 3次元軌道推定UAV追跡2024/12/1
複数のLiDARスキャンを時空間的に融合し、教師なしで小型UAVの3次元軌道を高精度に推定する手法を提案。CVPR 2024 UG2+チャレンジで4位に入賞した。
- NoisyEQA: ノイズを含む質問に対する身体性質問応答のベンチマークVLA2024/12/1
実世界で発生する4種類のノイズを含む質問に対して、身体性質問応答エージェントのノイズ検出・訂正能力を評価するベンチマークNoisyEQAを提案し、自己訂正プロンプト機構と新評価指標を導入した。
- LiDAR疑似ラベルを用いた音響アレイによる3次元UAV軌道推定音響センシング2024/12/1
音響アレイのメルスペクトログラムからUAVの3次元軌道を推定する自己教師あり学習フレームワークを提案し、LiDAR点群による推定を疑似ラベルとして音響知覚ネットワークを訓練することで、展開時には音響信号のみで高精度な軌道推定を実現した。
- AV-PedAware: 自己教師あり音視覚融合による動的歩行者認識音視覚融合2024/11/1
低コストな音声と視覚の融合により、足音を手がかりに周囲の歩行者の3D位置を推定する自己教師あり学習システムを提案。LIDARラベルで学習し、照明変化や遮蔽に強い。
- AIR-Embodied: 具現化大規模言語モデルによる効率的な能動的3DGSインタラクション・再構成フレームワーク3D再構成2024/9/1
具現化AIエージェントとマルチモーダル大規模言語モデルを統合し、視点選択とインタラクションを閉ループ推論で計画することで、能動的な3Dガウシアンスプラッティング再構成の効率と品質を向上させるフレームワークを提案。
- ポーズのみの教師あり学習による顕著スパース視覚オドメトリ視覚オドメトリ2024/4/1
ポーズ情報のみを教師信号として使うハイブリッド視覚オドメトリを提案し、自己教師ありホモグラフィ事前学習とランダムパッチ顕著点検出により、密なオプティカルフロー教師なしでも高い汎化性能を実現した。
- 高密度ビジュアルSLAMのためのコンパクト3DガウシアンスプラッティングSLAM2024/3/1
3Dガウシアンを用いたSLAMのメモリと計算コストを削減するため、スライディングウィンドウによるマスキングと幾何コードブックでガウシアン楕円体を圧縮し、高精度な姿勢推定とリアルタイム描画を両立させた。
- MMAUD: 現代の小型ドローン脅威に対応する包括的マルチモーダル対UAVデータセット対UAV検出2024/2/1
小型UAVの検出・機種分類・軌道推定のため、ステレオ視・LiDAR・レーダー・音響アレイを統合し、Leicaによる高精度正解データを備えたマルチモーダルデータセットを構築した。
- MoPA: マルチモーダル事前知識を活用した3Dセマンティックセグメンテーションのドメイン適応3Dセマンティックセグメンテーション2023/9/1
希少物体の挿入とSAMの2Dマスクを事前知識として用い、クラス不均衡を改善する3Dセマンティックセグメンテーションのマルチモーダル教師なしドメイン適応手法を提案。
- 3Dセマンティックセグメンテーションのためのマルチモーダル連続テスト時適応3Dセグメンテーション2023/3/1
時間とともに変化する環境下で3Dセマンティックセグメンテーションを行うマルチモーダル連続テスト時適応(MM-CTTA)を新たに提案し、信頼できるモダリティに適応的に注目しつつ破滅的忘却を防ぐCoMAC手法を開発した。
