Jianfeng Gao
収録論文 20本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 注入する場所が重要:LLMエージェントにおける信頼領域効果LLMエージェント安全性2026/10/28
LLMエージェントは環境の場所ごとに暗黙の信頼度を変えており、同じ悪意ある指示でもREADME等に置くとコードファイルより2.6倍従いやすいことを3つのテストベッドで示した。
- 実世界向けエージェントワールドモデル:コンピュータ操作エージェント用環境の自動合成コンピュータ操作エージェント2026/10/19
GUI・MCPサービス・CLIを統合した実行可能な環境とタスクをオープンソースモデルのみで自動合成するパイプラインWildAWMを提案し、長期的なコンピュータ操作エージェントの学習を可能にした。
- VGM-VS: 高精度ビジュアルサーボのための視覚幾何モデルの再考ビジュアルサーボ2026/9/23
大規模事前学習済みの視覚幾何モデルを活用し、目標画像との相対カメラ姿勢を推定して閉ループ型ビジュアルサーボを行う手法。シーン固有のメトリック適応によりスケール曖昧性を解消し、USB-CやRAM挿入などの高精度組立タスクでサブミリ精度を達成。
- AsgardBench:最小限のフィードバック下での視覚に基づく対話的プランニングの評価対話的プランニング2026/3/1
視覚に基づく高レベルの行動系列生成と対話的プランニングを評価するベンチマークを提案し、実行中の視覚観察に基づくプラン適応に焦点を当てる。
- 実世界における空間的に基づく長期的タスク計画タスク計画2026/3/1
ロボット操作のための空間的に実行可能な長期的行動計画を評価するベンチマークを新たに構築し、実世界のロボットビデオを用いた自動データ生成手法を提案して、VLMの計画能力を向上させる。
- Magma: マルチモーダルAIエージェントのための基盤モデルVLA2025/2/1
画像・動画・ロボットデータを統合的に学習し、UI操作からロボットマニピュレーションまでこなすマルチモーダル基盤モデルを提案。
- TraceVLA:視覚トレースプロンプトで汎用ロボットポリシーの時空間認識を強化VLA2024/12/1
状態行動軌跡を視覚的にエンコードする視覚トレースプロンプトを導入し、VLAモデルの時空間認識を改善。15万件の操作軌跡でOpenVLAを微調整したTraceVLAは、シミュレーションと実機で大幅な性能向上を達成。
- 動画からの潜在行動事前学習VLA2024/10/1
ロボットの行動ラベルなしでインターネット規模の動画からVLAモデルを事前学習する手法を提案し、実世界のマニピュレーションタスクで既存手法を上回る性能を示した。
- タスク指向の物体把持と再配置の視覚的模倣学習マニピュレーション2024/3/1
物体の部分観測と形状変化に対応するため、点と物体間の複数空間特徴を暗黙的ニューラル場に符号化するMIMO表現を提案し、人間の実演動画から把持・再配置を模倣学習する枠組みを構築した。
- Bi-KVIL: 両手マニピュレーションタスクのキーポイントベース視覚模倣学習模倣学習2024/3/1
少数の人間の両手作業動画から、物体と手の主従関係や両手協調戦略を抽出し、新しい環境のカテゴリ物体にも汎化できる視覚模倣学習手法を提案した。
- 身体性AIの基盤世界モデルにおける因果性の本質的役割身体性AI2024/2/1
身体性AIのための基盤世界モデルに因果性を取り入れる重要性を論じ、物理的相互作用の正確な予測に向けた展望と誤解の整理を行った位置論文。
- 対話型エージェント基盤モデルVLA2024/2/1
視覚・言語・行動予測を統合したマルチタスク学習により、ロボティクス・ゲームAI・医療の3領域で動作する汎用エージェント基盤モデルを提案した。
- K-VIL: キーポイントベースの視覚模倣学習模倣学習2022/9/1
少数の人間のデモ動画からキーポイントベースの幾何学的制約と動作プリミティブを抽出し、新しい場面でのマニピュレーションスキルを再現する視覚模倣学習手法を提案。
- 運動生成のための注意シフト学習運動生成2021/2/1
RealNVPによる局所潜在表現で多峰性の示範を捉え、実行中に局所座標系間で注意をシフトさせることで外挿性を高める運動生成モデルを提案し、ドッキング課題で有効性を示した。
- 接触を伴う作業におけるコンプライアンス適応の学習マニピュレーション2020/5/1
力プロファイルの予測モデルをBi-GRUによる異常検知と適応力/インピーダンス制御に組み合わせ、接触を伴う作業での高精度な追従と外乱への適応を実現した。
- 再帰的メンタルモデルによる対話型ナビゲーション対話ナビゲーション2020/5/1
案内役と質問するナビゲータの2エージェント対話タスクを設定し、互いの行動をモデル化する再帰的メンタルモデル(RMM)を提案。質問生成・回答生成・移動行動を強化学習で学習し、未知環境への汎化性能が向上することを示した。
- 事前学習による汎用視覚言語ナビゲーションエージェントの学習視覚言語ナビゲーション2020/2/1
視覚言語ナビゲーション(VLN)タスク向けに初の事前学習・微調整パラダイムを提案し、大量の画像・テキスト・行動の三つ組で自己教師あり学習を行うことで汎用的な表現を獲得し、複数タスクで最先端性能を達成した。
- 戦術的巻き戻し:視覚言語ナビゲーションにおけるバックトラッキングによる自己修正視覚言語ナビゲーション2019/3/1
視覚言語ナビゲーションで、局所的な行動選択と大域的な信号を組み合わせ、行き詰まった際にバックトラックして自己修正するFASTナビゲータを提案し、R2RベンチマークでSPLを6%改善した。
- 強化学習によるクロスモーダル照合と自己教師あり模倣学習を用いた視覚言語ナビゲーション視覚言語ナビゲーション2018/11/1
視覚言語ナビゲーションにおいて、強化学習で指示と軌跡のクロスモーダル照合を強化する手法と、過去の良い判断を模倣して未知環境への汎化を高める自己教師あり模倣学習を提案した論文。
- CPGを用いた横方向衝撃に耐える四脚ロボットの制御手法歩行2017/11/1
Hopf振動子型CPGを8ニューロンに拡張して横方向のトロット歩容を生成し、ZMPに基づく重心計画と横歩幅調整で四脚ロボットの横衝撃耐性を向上させた。
