Baining Guo
Microsoft Research Asia
収録論文 13本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- V-JEPA Hand：一人称動画から手とカメラの3D軌跡を高速・高精度に復元する単純な映像モデル一人称視点/3D手姿勢推定2026/10/19
一人称動画から両手の3D動作とカメラの自己運動を単一の順伝播モデルで同時に推定し、世界座標系での手の軌跡を復元する手法を提案。
- 継続か再計画か？適応的実行期間のためのベルヌーイ継続方策学習VLA2026/8/1
固定長のアクションチャンクを実行するVLAモデルにおいて、再計画のタイミングをタスク進捗に応じて適応的に決める軽量フレームワークを提案し、成功率を向上させた。
- FM-VLA: 接触を伴う操作における視覚言語行動モデルのための力覚ベースメモリVLA/操作2026/7/1
視覚言語行動モデルに力覚履歴をメモリとして組み込み、非マルコフ的で接触を伴う操作タスクの時間的文脈推論を可能にした。
- 人間のビデオからロボット操作へ：人間中心データを用いたスケーラブルな視覚言語行動学習に関するサーベイVLA/サーベイ2026/6/1
ロボットのデモデータに頼らず、豊富な人間のビデオをVLAモデルの学習に活用する手法を4つのカテゴリに分類して整理し、未解決の課題と今後の研究方向を提示したサーベイ論文。
- MuseVLA: ロボット操作のための適応型マルチモーダルセンシング視覚言語行動モデルVLA2026/6/1
RGBカメラだけでは捉えられない温度や音、レーダーなどの多様なセンサ情報を、タスクに応じてツールのように選択・統合できる視覚言語行動モデルを提案した。
- TaskGround: 全シーン家庭内推論のための構造化実行可能タスク推論タスク推論2026/5/1
家庭内エージェントが完全なシーンと状況依頼から実行可能なタスク構造を推論するための、訓練不要でモデル非依存のフレームワークを提案し、新評価スイートFullHomeで効果を実証した。
- MobileManiBench：モバイルマニピュレーションのためのモデル検証を簡素化するベンチマークVLA2026/2/1
NVIDIA Isaac Simと強化学習を用いて、多様なモバイルマニピュレーション軌道を自動生成する大規模ベンチマークを構築し、代表的なVLAモデルの性能を評価した。
- VideoVLA：動画生成モデルを汎用ロボットマニピュレータに転換VLA2025/12/1
大規模動画生成モデルをロボットの視覚-言語-行動モデルに転換し、言語指示と画像から行動列と将来の視覚結果を同時予測することで、新規物体や他機体スキルへの汎化を実現した。
- LoLA: 汎用ロボットマニピュレーションのための長期的潜在行動学習マニピュレーション2025/12/1
多視点観測と固有感覚を統合し、視覚言語表現をロボットの運動空間に接地させることで、長期的な言語誘導マニピュレーションを可能にするフレームワークLoLAを提案した。
- OmniVLA: 物理的根拠に基づくマルチモーダルVLAと統合マルチセンサ知覚によるロボットマニピュレーションVLA2025/11/1
赤外線カメラ・ミリ波レーダー・マイクアレイをRGB画像に統合する「センサマスク画像」表現を提案し、RGBのみのVLAより成功率84%で大幅に優れるマルチモーダルVLAモデルを実現した。
- 実生活の人間活動動画を用いたロボットマニピュレーション向け視覚-言語-行動モデルのスケーラブル事前学習VLA2025/10/1
人間の手の日常動画を自動解析してロボットのVLA学習データに変換し、100万エピソード規模のデータセットでモデルを事前学習することで、未知環境でのゼロショット性能と実機微調整時の成功率・汎化性能を向上させた。
- UniGraspTransformer：スケーラブルな器用把持のための簡素化された方策蒸留マニピュレーション2024/12/1
物体ごとに強化学習で把持方策を訓練し、それを単一のTransformerネットワークに蒸留することで、多様な物体・姿勢に対応する汎用器用把持を実現した研究。
- CogACT: 認知と行動を融合するロボット操作のための基盤的視覚-言語-行動モデルVLA2024/11/1
VLMの出力を条件とする専用の拡散行動トランスフォーマーを組み込んだ新しいVLAアーキテクチャを提案し、ロボット操作の成功率と汎化性能を大幅に向上させた。
