Randall Balestriero
Brown University
収録論文 19本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- LeHami: ワールドモデルのためのシンプレクティック潜在ダイナミクスワールドモデル2026/10/11
JEPAの予測器をハミルトン力学に基づくシンプレクティックな流れに置き換え、長期ロールアウトでの潜在分布の収縮を防ぐワールドモデルを提案。
- スペクトル整合による世界モデリング世界モデル2026/10/11
観測間の関係を目標類似度カーネルで指定し、その幾何を埋め込み空間で再現するJEPAフレームワークSpecWMを提案。時間カーネルによるスペクトル整合がCEM計画の成功率を大幅に改善することを示した。
- 空間オーディオからのストリーミング人間動作生成動作生成2026/10/9
空間オーディオを入力として、人間が音に反応する動作をリアルタイムにストリーミング生成するフレームワークSonic-AMGを提案。リハーサル訓練と空間フィードバックで訓練・推論の不一致を軽減した。
- LeWAM: JEPAによる世界モデルと行動のエンドツーエンド学習VLA2026/10/8
JEPAを用いて潜在状態予測と行動フローマッチングを統合し、単一モデルで直接的な方策実行と効率的な計画を可能にする制御フレームワークを提案。接触の多いタスクや長期タスクで成功率を大幅に改善し、計画速度も向上させた。
- DSReg: 再構成なしで個々の世界潜在変数を証明可能に復元表現学習2026/10/7
再構成やデコーダ、ラベルなしで、構造的多様性を条件に依存性スパース正則化により世界の個々の潜在変数を符号付き置換まで復元する手法を提案。
- 金融市場の世界モデル構築に向けて金融時系列表現学習2026/10/6
米国株の約1兆観測を含む大規模データセットMarket-1Tを構築し、18種のエンコーダ学習戦略を比較評価して、金融市場の世界モデルに向けた表現学習の基盤を確立した。
- H-JEPA: 視覚計画のための階層的世界モデルのエンドツーエンド学習VLA2026/10/5
各階層が独自の潜在空間でより遠い未来を予測するアクション条件付きJEPAの階層をエンドツーエンドで学習し、トップダウン計画により長期視覚計画の成功率と計算効率を改善する手法を提案。
- ヤコビアン重心によるJEPA世界モデルの行動モニタリング世界モデル2026/9/27
JEPA世界モデルの内部表現をヤコビアン行和(重心)で解析し、エンコーダと予測器の行動的乖離を検出して計画失敗を事前予測する手法を提案。
- 半群JEPA:ゼロショット物理汎化のための潜在ダイナミクス整合性世界モデル2026/9/9
物理パラメータを行動条件として与え、自己回帰的な潜在ロールアウトでエンコーダと予測器を共同学習するSG-JEPAを提案し、異なる重力場でのゼロショット物理汎化性能を向上させた。
- Mol-JEPA: 分子のためのマルチモーダル統合予測アーキテクチャ分子基盤モデル2026/8/23
分子構造や細胞表現型など複数のデータモダリティを潜在空間で予測することで、化学的に無効な拡張やモダリティ崩壊などの問題を解決する分子基盤モデルを提案した。
- VIScore:潜在世界モデルにおける計画関連品質の診断世界モデル2026/8/1
潜在世界モデルの計画成功を予測する新しい指標VIScoreを提案し、エンコーダ・予測器・プランナーを包括的に評価することで、従来指標より高い相関で成功率を説明できることを示した。
- 感覚運動世界モデル:逆動力学による行動のための知覚世界モデル2026/6/18
逆動力学正則化を導入した潜在世界モデルを提案し、表現の崩壊を防ぎつつ行動に関連する表現を学習することで、報酬なしの軌跡から効率的な計画を可能にする。
- OctoSense: マルチモーダルロボット知覚のための自己教師あり学習自己教師あり学習2026/6/1
複数のセンサを搭載したロボット用データセットと、センサの特性に合わせたマスクオートエンコーダによる自己教師あり学習手法を提案。既存の画像基盤モデルより優れた性能を示す。
- SkyJEPA: クアッドローターのゼロショットsim-to-real制御のための長期的世界モデル学習制御2026/6/1
クアッドローターの高周波制御向けに、潜在空間でダイナミクスをモデル化するJEPA方式の世界モデルを提案し、物理に基づくプローバーとサンプリングベースの最適制御を組み合わせて、実機でのゼロショットsim-to-real転送を実現した。
- LeJEPAはいつ世界モデルを学習するのか?世界モデル2026/5/25
LeJEPAが非線形観測から世界の潜在変数を線形に復元できる条件を理論的に証明し、ガウス分布が唯一の保証を持つことを示した論文。
- stable-worldmodel: 再現可能なワールドモデル研究と評価のためのプラットフォームワールドモデル2026/5/1
ワールドモデル研究の断片化を解消するため、高速データ層、標準ベースライン実装、多様な評価環境を備えたオープンソースプラットフォームを提案した。
- 潜在世界モデルを用いた階層的計画計画/世界モデル2026/4/3
視覚世界モデルを複数の時間スケールで学習し、長期モデルの予測を短期モデルのサブゴールとして利用する階層的MPC手法を提案。実機操作やシミュレーションで長期的タスクの成功率を向上させた。
- LeWorldModel: ピクセルからの安定したエンドツーエンド共同埋め込み予測アーキテクチャ世界モデル2026/3/13
ピクセルから直接、2つの損失項のみで安定して学習できる初のJEPA世界モデルを提案し、制御タスクで高速かつ競争力のある性能を示した。
- 潜在計画のための時間的直線化世界モデル/表現学習2026/3/12
世界モデルを用いた潜在計画のための表現学習を改善する手法を提案。人間の視覚処理における知覚的直線化仮説に着想を得て、曲率正則化により潜在軌道を局所的に直線化し、計画の安定性と成功率を向上させる。
