Paul Pu Liang
Massachusetts Institute of Technology
収録論文 9本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- MotorSense:動作理解のための映像とEMGを組み合わせた大規模データセットマルチモーダル学習2026/10/30
一人称視点の映像と両手の筋電位(EMG)を同期収録した100時間規模のデータセットを構築し、映像と運動信号のクロスモーダル事前学習で動作認識や3D手・接触再構成の性能向上を示した論文。
- イベントカメラとRGBを融合した4D再構成4D再構成2026/10/27
RGBのみの4D再構成モデルMonst3Rにイベントカメラ入力枝を追加する最小拡張を行い、3つのベンチマークで精度が平均3.4%向上し、動きが大きいほど効果が大きいことを示した。
- 遅い視覚と速い触覚をつなぐT-WLA触覚2026/10/20
視覚ポリシーの更新を待たずに触覚で未実行動作を補正するworld-language-actionアーキテクチャを提案し、手指動作予測と実機巧緻操作で有効性を示した。
- SteerAct: 少数試行の時間的ステアリングで行動モデルを解き放つVLA2026/10/19
事前学習済みロボット行動モデルの活性化を、少数の成功・失敗ロールアウトから選んだ特徴量の時間記述子に基づいてオンラインで調整し、重み更新なしでタスク成功率を約10%向上させるフレームワーク。
- GEM-4D: ロボット操作のための幾何学強化ビデオワールドモデルVLA2026/5/1
ビデオ生成モデルに4次元対応関係の教師信号を注入し、外観と幾何構造を同時に学習させることで、物理的に一貫した未来予測とロボット操作への直接適用を可能にした。
- DENALI: 低コストLiDARによる非視線空間推論を可能にするデータセット非視線知覚2026/4/1
消費者向けLiDARの内部記録である時空間ヒストグラムを用いて、隠れた物体の認識をデータ駆動で行うための大規模実世界データセットDENALIを構築し、低コストLiDARでの非視線知覚の可能性を示した。
- OpenTouch: 実世界インタラクションに全手触覚をもたらす触覚2025/12/1
一人称視点の動画と全手の触覚・姿勢を同期した初の実世界データセットを構築し、触覚が把持理解やクロスモーダル alignment に有効であることを示した。
- 手続き生成されたオープンエンド行動環境における視覚・言語・行動モデルのベンチマークVLA2025/5/8
Procgenの多様な手続き的タスクでVLM/VLAモデルのゼロショット汎化性能を評価するベンチマークMultiNet v0.2を提案し、OODタスクでの限界やアーキテクチャ設計の重要性を明らかにした。
- ロボット学習タスクにおける視覚・言語・行動モデルのベンチマーク評価VLA2024/11/1
GPT-4oやOpenVLAなど3つのVLAモデルを20種類の操作タスクで評価し、性能のばらつきや多段階計画の難しさを明らかにした。
