論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA/強化学習ロボティクス
FlowPRO: フローマッチングVLAの報酬なし強化学習による微調整 - 近接化選好最適化を用いて
フローマッチング型VLAモデルを実ロボットに展開可能なポリシーへと微調整する、報酬なしのオフライン強化学習フレームワークFlowPROを提案。選好最適化に近接正則化を導入し、介入・ロールバックデータから高品質なポリシーを学習する。
原題: FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization / Yihao Wu, He Zhang, Junbo Tan 他
日本語で読む → - 論文VLA/強化学習ロボティクス
dVLA-RL: 離散拡散ビジョン・ランゲージ・アクションモデルに対する軌跡上の強化学習
離散拡散型VLAモデルの強化学習を可能にするため、生成過程をマルコフ決定過程とみなし、軌跡の結合確率を目的関数とする手法を提案した。
原題: dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models / Yuhao Wu, Yitian Liu, Weijie Shen 他
日本語で読む → - 論文強化学習ロボティクス
物理アタリ:ロボット上でのリアルタイム強化学習のための堅牢でアクセスしやすいプラットフォーム
Atariコントローラを物理的に操作するロボットとゲーム画面を表示するデバイスを組み合わせ、実世界で強化学習アルゴリズムを研究できるシステム「Physical Atari」を構築した。低コストで堅牢な設計により、ロボット上での直接学習と適応の重要性を示した。
原題: Physical Atari: A Robust and Accessible Platform for Real-time Reinforcement Learning on Robots / Khurram Javed, Joseph Modayil, Gloria Kennickell 他
日本語で読む → - 論文マルチエージェント強化学習機械学習
個別制御バリア関数ガイド拡散モデルによる安全なオフラインマルチエージェント強化学習
オフライン強化学習に拡散モデルを用い、個別の制御バリア関数を組み込むことで、マルチエージェント環境での安全な軌道生成を実現する新しいアルゴリズムを提案した。
原題: Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning / Qingyun Guo, Junyi Shi, Jianuo Huang 他
日本語で読む → - 論文自動運転/運動計画/強化学習ロボティクス
深層クープマン作用素を用いた学習予測制御による自動運転車両の運動計画
自動運転車両の運動計画において、非線形・不確かな車両ダイナミクスを深層クープマン作用素で線形化し、アクタークリティック強化学習による閉ループ状態フィードバックポリシーを生成する学習予測制御フレームワークを提案した。非凸な障害物制約を凸近似とポテンシャル場で扱い、安全性を確保する。
原題: Learning Predictive Control with Deep Koopman Operators for Autonomous Vehicle Motion Planning / Xinglong Zhang, Yongqian Xiao, Haotian Cao 他
日本語で読む → - 論文強化学習/適応機械学習
Warp RL: ベースポリシー分布の再形成による動力学適応
残差強化学習の限界を克服するため、ポリシーの行動分布を可逆な状態依存変換で変形する適応手法Warp RLを提案。シミュレーションと実機タスクで有効性を実証した。
原題: Warp RL: Reshaping Base Policy Distributions for Dynamics Adaptation / Ethan Hirschowitz, Fabio Ramos
日本語で読む → - 論文強化学習/生成的ポリシー機械学習
ラグランジアン摂動拡散ステアリング:生成的ポリシーのための潜在強化学習
凍結した生成的ポリシーに対し、ノイズ空間の小さな摂動を学習して性能を改善する軽量適応手法LP-DSを提案。ロボット操作や移動、器用操作のベンチマークで成功率と報酬を向上させた。
原題: Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies / Hikmet Simsir, Ozgur S. Oguz
日本語で読む → - 論文モデルベース強化学習機械学習
すべてのモデルは誤り、どこが誤りかを知ることが有用:強化学習におけるモデル不確実性について
モデルベース強化学習におけるモデルの不正確さを扱う枠組みを提案し、不確実性を適切に扱うことでモデルの悪用を防ぎ、ハードウェア上での直接学習や安全な探索の成功を示した。
原題: All Models are Wrong, Knowing Where is Useful: On Model Uncertainty in Reinforcement Learning / Bernd Frauenknecht, Devdutt Subhasish, Artur Eisele 他
日本語で読む → - 論文オフライン強化学習機械学習
行動不変なタスク表現学習とTransformer基盤の世界モデルによるオフラインメタ強化学習
オフラインメタ強化学習におけるコンテキストとポリシーの分布シフト問題を解決するため、情報理論に基づくタスク表現学習とTransformer型確率的世界モデルを統合したフレームワークを提案した。
原題: Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning / Fuyuan Qian, Menglong Zhang, Song Wang 他
日本語で読む → - 論文強化学習機械学習
生存強化学習:スケーラブルな自己教師ありRLに向けて
自己教師ありの対比強化学習の限界を克服するため、目標状態での滞在時間を最大化する分類ベースの生存価値学習フレームワークを提案し、長期的な移動タスクで既存手法を2〜8倍上回る性能を達成した。
原題: Survival Reinforcement Learning: Toward Scalable Self-Supervised RL / Franki Nguimatsia-Tiofack, Fabian Schramm, Théotime Le Hellard 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
他者の夢を見る:マルチエージェント強化学習における世界モデル内の潜在チームメイトモデリング
協調型マルチエージェント強化学習において、チームメイトの内部方策や意図を世界モデル内で潜在変数としてモデル化し、心の理論ヘッドで推論することで、多様な協調相手への適応を可能にするアーキテクチャを提案した。
原題: Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning / Tomas Leroy-Stone
日本語で読む → - 論文強化学習機械学習
マックスミン基準を用いた制約付き多目的強化学習
複数の目的を公平に扱うマックスミン基準と明示的な制約充足を統合した多目的強化学習フレームワークを提案し、理論的基盤と収束解析、さらに建物熱制御や移動制御、交通管理などのシミュレーションで有効性を示した。
原題: Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion / Giseung Park, Hyunyoung Nam, Woohyeon Byeon 他
日本語で読む → - 論文強化学習機械学習
LLM報酬設計が失敗するとき:スパース構造化RLのための診断駆動型改良
スパースで構造化された強化学習タスクにおいて、LLMによる報酬整形を一回生成ではなくデバッグとして捉え、訓練診断と失敗モード分類に基づく反復改良を提案し、DoorKey-8x8やKeyCorridorの成功率を大幅に向上させた。
原題: When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL / Youting Wang, Yuan Tang, Bowen Liu 他
日本語で読む → - 論文マルチエージェント強化学習AI
微分可能な信念に基づく対戦相手形成
対戦相手の信念を状態として捉え、その信念更新を微分可能な形でモデル化することで、報酬構造から最適な戦略を自動的に学習する新しい対戦相手形成手法を提案した。
原題: Differentiable Belief-based Opponent Shaping / Aarav G Sane, Karthik Sivachandran, Rohan Paleja
日本語で読む → - 論文逆強化学習機械学習
確率的リカレント意図切替モデル
逆強化学習において、エピソード内の目標切替を捉えるため、リカレントネットワークで観測履歴から意図分布を推定する新しいモデルを提案し、EMアルゴリズムが閉形式で解けることを示した。ロボット操作データを含む複数環境で評価し、高い尤度と解釈可能な意図抽出を実現した。
原題: Probabilistic Recurrent Intention Switching Model / Wenyuan Sheng, Hao Zhu, Joschka Boedecker
日本語で読む → - 論文強化学習機械学習
拡散ポリシー最適化による世界モデル強化学習のスケーリング
世界モデルを用いた強化学習において、探索と価値学習の構造的不整合がスケーリングのボトルネックであることを特定し、拡散ポリシー表現で統一するMBDPOを提案した。
原題: Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization / Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu 他
日本語で読む → - 論文強化学習機械学習
スコアベース一段階MeanFlow方策最適化
強化学習における拡散・フローマッチング方策の多段階推論コストを削減するため、Q関数からスコア推定と確率フローODEで目標速度場を構築し、一段階生成で高価値モードに集中させる新しいアクタークリティック法SOMを提案した。
原題: Score-Based One-step MeanFlow Policy Optimization / Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn 他
日本語で読む → - 論文モデルベース強化学習機械学習
勾配ペナルティ付き潜在ダイナミクスによる滑らかでサンプル効率的な夢の学習
モデルベース強化学習のDreamerV3に、潜在遷移ダイナミクスの局所的な滑らかさを促す勾配ペナルティ正則化を追加し、サンプル効率を向上させた。
原題: Dreaming Smoothly and Sample Efficiently with Gradient Penalized Latent Dynamics / Romil V. Sonigra, P. R. Kumar
日本語で読む → - 論文階層強化学習機械学習
階層的組合せ計画のためのマルチタイムスケール抽象化の学習
確率的組合せ最適化問題に対して、可変時間の意思決定を扱うSMDP対応の世界モデルと潜在空間ツリー探索を組み合わせたモデルベース階層強化学習手法を提案し、ベンチマークで優位性を示した。
原題: Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning / Vivienne Huiling Wang, Tinghuai Wang, Joni Pajarinen
日本語で読む → - 論文強化学習AI
不完全な世界モデルは悪用可能である
強化学習における世界モデルの悪用可能性を定義し、報酬ハッキングとの理論的関係を明らかにした論文。
原題: Imperfect World Models are Exploitable / Logan Mondal Bhamidipaty, Esmeralda S. Whitammer, David Abel 他
日本語で読む → - 論文マルチエージェント強化学習制御
部分モジュラーマルチエージェントポリシー学習によるオープンマルチエージェントシステムにおけるオンライン分散タスク割り当て
本論文は、部分モジュラーなチーム効用を持つマルチエージェント強化学習を用いて、オンライン分散タスク割り当て問題を解決する。カテゴリカルポリシーと整合する新しい連続緩和法(PME)を導入し、SubMAPGという集中学習・分散実行のポリシー勾配法を提案する。
原題: Submodular Multi-Agent Policy Learning for Online Distributed Task Allocation in Open Multi-Agent Systems / Jing Liu, Yangyang Yang, Luca Ballotta 他
日本語で読む → - 論文強化学習機械学習
JEDI: オンライン強化学習のための統合埋め込み拡散世界モデル
拡散世界モデルをオンライン強化学習に適用し、JEPAフレームワークを用いて潜在空間を拡散ノイズ除去損失から直接学習する新しい手法を提案。再構成や事前学習モデルに頼らず、将来の潜在表現を予測することで、効率性と性能を両立する。
原題: JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning / Jing Yu Lim, Rushi Shah, Zarif Ikram 他
日本語で読む → - 論文強化学習機械学習
最適Qガイダンスによるフローマップポリシーの整合
拡散やフローマッチングに基づく生成ポリシーの推論コストを削減するため、任意のジャンプ(1ステップを含む)を学習するフローマップポリシーを提案し、オフラインからオンラインへの強化学習において、批評家のQ値に基づく信頼領域最適化で適応させる手法を導入した。
原題: Aligning Flow Map Policies with Optimal Q-Guidance / Christos Ziakas, Alessandra Russo, Avishek Joey Bose
日本語で読む → - 論文強化学習/セキュリティ機械学習
Plan2Cleanse: モンテカルロ計画による深層強化学習のテスト時バックドア防御
強化学習モデルに埋め込まれたバックドア攻撃を、再学習なしでテスト時に検出・無害化するフレームワークを提案。モンテカルロ木探索を計画問題として適用し、ブラックボックスでトリガー探索と防御的再計画を行う。
原題: Plan2Cleanse: Test-Time Backdoor Defense via Monte-Carlo Planning in Deep Reinforcement Learning / Sze-Ann Chen, Zhi-Yi Chin, Kui-Yuan Chen 他
日本語で読む → - 論文世界モデル/強化学習AI
マスク拡散言語モデルはエージェント強化学習のための強力で制御可能なテキストベース世界モデルである
テキストベースの世界モデルを、初期状態やタスク文脈などの要素に分解し、マスク拡散言語モデルが自己回帰モデルより優れた一貫性と多様性を持つことを示し、強化学習の訓練環境として有効なフレームワークを提案した。
原題: Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL / Darshan Deshpande
日本語で読む → - 論文モデルベース強化学習AI
AGWM: 構成的前提条件を持つ環境のためのアフォーダンス基盤世界モデル
行動の実行可能性を左右する前提条件をDAGで明示的に追跡する世界モデルを提案し、多段階予測誤差の低減と解釈性向上を実証した。
原題: AGWM: Affordance-Grounded World Models for Environments with Compositional Prerequisites / Qinshi Zhang, Weipeng Deng, Zhihan Jiang 他
日本語で読む → - 論文強化学習機械学習
基礎方針を用いた多段階計画のための到達時間同型性
オフライン強化学習において、到達時間観測から制御マルコフ過程の有向時間幾何を復元する新しい作用素論的表現学習フレームワークを提案し、基礎方針学習アルゴリズムIELを開発した。
原題: Hitting Time Isomorphism for Multi-Stage Planning with Foundation Policies / Magnus Victor Boock, Abdullah Akgül, Mustafa Mert Çelikok 他
日本語で読む → - 論文強化学習機械学習
複雑なカードゲームのための因果強化学習:マジック・ザ・ギャザリングのベンチマーク
因果強化学習のための複雑なベンチマークとして、マジック・ザ・ギャザリングを用いた環境を構築し、因果構造を活用するエージェントを提案・評価した。
原題: Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark / Cristiano da Costa Cunha, Ajmal Mian, Tim French 他
日本語で読む → - 論文強化学習機械学習
大規模言語モデルによる強化学習インターフェースの発見
強化学習のタスク設定に必要な観測と報酬のインターフェースを、大規模言語モデルを用いた進化的フレームワークLIMENで自動生成する手法を提案した。
原題: Discovering Reinforcement Learning Interfaces with Large Language Models / Akshat Singh Jaswal, Ashish Baghel, Paras Chopra
日本語で読む → - 論文自動運転/強化学習画像認識
MTA-RL: マルチモーダルトランスフォーマーによる3Dアフォーダンスと強化学習を用いた堅牢な都市運転
RGB画像とLiDAR点群をトランスフォーマーで融合し、幾何学的な3Dアフォーダンスを予測して強化学習の観測空間とすることで、解釈可能でサンプル効率の高い都市自動運転を実現した。CARLAシミュレーションでゼロショット汎化性能が向上することを示した。
原題: MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning / Guangli Chen, Dianzhao Li, Wenjian Zhong 他
日本語で読む →
PR・アフィリエイト広告
