論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/連続制御ロボティクス
ZAPS-DA: ゼロ位相アクション平滑化と分離アクターによる強化学習の連続制御
強化学習で訓練された連続制御ポリシーの高周波なアクションジッタを、位相遅れをほぼ生じさせずに低減する新しい手法を提案。主アクターとは別の分離アクターをゼロ位相フィルタ済みターゲットへの模倣学習で訓練し、推論時はフィルタ不要で平滑なアクションを出力する。
原題: ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning / Faiq Shamass
日本語で読む → - 論文強化学習機械学習
適応チャンクサイズのアクタークリティックと因果トランスフォーマーQネットワーク
強化学習における長期的・疎報酬タスク向けに、チャンクサイズを状態に応じて適応的に選択するアクタークリティック法を提案し、オフラインおよびオフラインからオンラインへの設定で最先端性能を達成した。
原題: ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network / Qian Chen, Junqiao Zhao, Hongtu Zhou 他
日本語で読む → - 論文VLA/強化学習ロボティクス
Feat2Go: 視覚特徴に基づく価値推定による身体化強化学習
事前学習済み視覚世界モデルから得た段階的進捗目標を価値モデルで予測し、終端報酬を整形することでVLAモデルの強化学習を改善するフレームワークを提案。
原題: Feat2Go: Visual Feature-Grounded Value Estimation for Embodied Reinforcement Learning / Junyang Shu, Zhiwei Lin, Bingqing Wei 他
日本語で読む → - 論文強化学習/時間論理ロボティクス
時間論理のための価値関数:最適方策と安全フィルタ
時間論理仕様に対する価値関数の最適性と方策の最適性の微妙な関係を解明し、非マルコフ方策を用いて病理を回避する最適方策を構築するとともに、Q関数を複雑な時間論理仕様の安全フィルタとして利用する方法を示した論文。
原題: Value Functions for Temporal Logic: Optimal Policies and Safety Filters / Oswin So, William Sharpless, Sylvia Herbert 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
マルチエージェント強化学習による超人的で安全なアジャイルレーシング
マルチエージェント強化学習を用いて、高速クアッドローターレースで人間のチャンピオンパイロットを上回る性能と安全性を両立させ、ゼロショットで人間との安全な相互作用を実現した。
原題: Superhuman Safe and Agile Racing through Multi-Agent Reinforcement Learning / Ismail Geles, Leonard Bauersfeld, Markus Wulfmeier 他
日本語で読む → - 論文強化学習機械学習
信頼領域Q-随伴マッチング
事前学習済みフローポリシーのオフポリシー強化学習を安定化するため、経路空間KLを信頼領域パラメータで制御するTRQAMを提案し、50のOGBenchタスクで既存手法を上回る性能を達成した。
原題: Trust Region Q Adjoint Matching / Yonghoon Dong, Kyungmin Lee, Changyeon Kim 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のための軌道レベルデータ拡張
限られた準最適な軌道からオフライン強化学習を効果的に行うため、タスク構造と報酬・価値関数・ロギングポリシーの幾何学的関係を利用した軌道ベースのデータ拡張手法を提案し、理論的正当性と実験的検証を行った。
原題: Trajectory-Level Data Augmentation for Offline Reinforcement Learning / Tobias Schmähling, Matthias Burkhardt, Tobias Windisch
日本語で読む → - 論文VLA/強化学習ファインチューニングロボティクス
EXPO-FT: 視覚言語行動モデルのサンプル効率的強化学習ファインチューニング
事前学習済みの視覚言語行動(VLA)モデルを強化学習で安定かつサンプル効率的にファインチューニングするシステムEXPO-FTを提案し、高精度・動的動作を要する複数の操作タスクで完全成功率を達成した。
原題: EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models / Perry Dong, Kuo-Han Hung, Tian Gao 他
日本語で読む → - 論文強化学習機械学習
動的デカップリング球面ラジアルスカッシングに基づく制約強化強化学習
アクチュエータごとに異なる速度制約を正確に扱うため、位置適応型半径を独立に計算するDD-SRad法を提案し、制約違反ゼロで高いタスク報酬を達成した。
原題: Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing / Qijun Liao, Zhaoxin Yu, Jue Yang
日本語で読む → - 論文自動駐車/強化学習ロボティクス
ParkingWorld: 3DGSシミュレーションにおける修正経験からのエンドツーエンド自動駐車強化学習
3Dガウススプラッティング(3DGS)シミュレータで、人間の修正介入を活用した強化学習フレームワーク(CIL-SERL)を提案し、エンドツーエンドの自動駐車ポリシーを学習する。
原題: ParkingWorld: End-to-End Autonomous Parking Reinforcement Learning from Corrective Experience in 3DGS Simulation / Zhengcheng Yu, Changze Li, Haoran Liu 他
日本語で読む → - 論文強化学習機械学習
オフダイナミクス強化学習のためのクロスドメインエネルギー誘導拡散生成
遷移ダイナミクスが異なる環境間で、ソースデータセットからターゲット領域のポリシーを学習する際に、エネルギー誘導を用いて軌道レベルの拡散生成を行い、ターゲット領域に適応した合成データを生成する手法CEDGEを提案した。
原題: Cross-Domain Energy-Guided Diffusion Generation for Off-Dynamics Reinforcement Learning / Yu Yang, Yihong Guo, Anqi Liu 他
日本語で読む → - 論文強化学習/操作ロボティクス
ハイブリッド接触ダイナミクス下での物理情報を活用した目標条件付き強化学習
接触を伴う操作タスクで物理情報を活用した目標条件付き強化学習(Pi-GCRL)が劣化する問題を分析し、接触を考慮した階層的定式化を提案して性能を改善した。
原題: Physics-informed Goal-Conditioned Reinforcement Learning under Hybrid Contact Dynamics / Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi
日本語で読む → - 論文強化学習機械学習
人間フィードバックを活用した意味的に有用なスキル発見
強化学習における教師なしスキル発見に人間のフィードバックを組み込み、意味的に多様で関連性のあるスキルを効率的に発見する手法を提案した。
原題: Leveraging Human Feedback for Semantically-Relevant Skill Discovery / Maxence Hussonnois, Thommen George Karimpanal, Santu Rana
日本語で読む → - 論文強化学習機械学習
有界比率強化学習
PPOのヒューリスティックなクリップ目的と信頼領域法の理論的ギャップを埋めるため、有界比率強化学習(BRRL)フレームワークを提案し、解析的最適解と単調性能改善を保証する新しいポリシー最適化アルゴリズムBPOを開発した。
原題: Bounded Ratio Reinforcement Learning / Yunke Ao, Le Chen, Bruce D. Lee 他
日本語で読む → - 論文強化学習機械学習
拡張ベスト・オブ・Nサンプリングによる推論時の柔軟なエンパワーメント
強化学習において、エンパワーメントを報酬ボーナスとして与える代わりに、ベスト・オブ・Nサンプリングを適用し、探索と活用のバランスを柔軟に調整する手法を提案した。
原題: Flexible Empowerment at Reasoning with Extended Best-of-N Sampling / Taisuke Kobayashi
日本語で読む → - 論文強化学習AI
モデルベース強化学習のためのアドバンテージ誘導拡散
拡散世界モデルを用いたモデルベース強化学習において、報酬ではなくアドバンテージ推定で逆拡散過程を誘導し、長期的なリターンが高い軌道を生成する手法を提案した。
原題: Advantage-Guided Diffusion for Model-Based Reinforcement Learning / Daniele Foffano, Arvid Eriksson, David Broman 他
日本語で読む → - 論文強化学習機械学習
GIRL: 情報理論的幻覚制御による生成的想像強化学習
モデルベース強化学習において、想像上のロールアウトのドリフトを防ぐため、凍結された基盤モデルからのクロスモーダルな接地信号と不確実性適応型の信頼領域ボトルネックを導入した新しい潜在世界モデルフレームワークを提案した。
原題: GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control / Prakul Sunil Hiremath
日本語で読む → - 論文強化学習機械学習
非定常性で失われるランクと勾配:強化学習における可塑性損失を緩和するサンプル重み減衰
強化学習の可塑性損失をネットワーク最適化の理論的観点から分析し、勾配減衰を補正する軽量な手法「サンプル重み減衰」を提案した。
原題: The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning / Zihao Wu, Hongyao Tang, Yi Ma 他
日本語で読む → - 論文強化学習/ビンパッキングロボティクス
拡散強化学習に基づくオンライン3Dビンパッキングの空間戦略最適化
オンライン3Dビンパッキング問題に対し、拡散モデルをアクターネットワークに用いた強化学習アルゴリズムを提案し、従来のDRL手法より詰め込めるアイテム数を大幅に改善した。
原題: Diffusion Reinforcement Learning Based Online 3D Bin Packing Spatial Strategy Optimization / Jie Han, Tong Li, Qingyang Xu 他
日本語で読む → - 論文強化学習ロボティクス
線形クープマンダイナミクスを用いた非線形ロボットシステムの効率的強化学習
クープマン作用素理論で非線形システムの線形リフトダイナミクスを学習し、アクタークリティック型強化学習に統合することで、サンプル効率の高い閉ループ制御を実現した。
原題: Efficient Reinforcement Learning using Linear Koopman Dynamics for Nonlinear Robotic Systems / Wenjian Hao, Yuxuan Fang, Zehui Lu 他
日本語で読む → - 論文協調運転/拡散モデル/強化学習ロボティクス
SCORP: 協調運転のためのシーン整合型マルチエージェント拡散計画と安定なオンライン強化学習後訓練
協調運転向けに、シーン整合性を高めたマルチエージェント拡散プランナーを提案し、安定なオンライン強化学習後訓練を実現した。
原題: SCORP: Scene-Consistent Multi-agent Diffusion Planning with Stable Online Reinforcement Post-Training for Cooperative Driving / Haojie Bai, Aimin Li, Ruoyu Yao 他
日本語で読む → - 論文進化ロボティクス/強化学習機械学習
ターゲットネットワーク不要の分布価値推定によるロバストな品質多様性最適化
品質多様性(QD)アルゴリズムのサンプル効率を改善するため、ターゲットネットワークを使わない分布価値推定を導入した新しいQD-RLアルゴリズムQDHUACを提案し、高次元環境で少ないサンプル数で同等以上の性能を達成した。
原題: Distributional Value Estimation Without Target Networks for Robust Quality-Diversity / Behrad Koohy, Jamie Bayne
日本語で読む → - 論文模倣学習/強化学習機械学習
不完全なデモンストレーションからの学習:時間行動木ガイドによる軌道修復
不完全なデモンストレーションを時間行動木(TBT)仕様に基づいて修復し、修復された軌道から報酬関数を抽出して強化学習を効率的に導くフレームワークを提案した。
原題: Learning from Imperfect Demonstrations via Temporal Behavior Tree-Guided Trajectory Repair / Aniruddh G. Puranic, Sebastian Schirmer, John S. Baras 他
日本語で読む → - 論文強化学習/フローマッチングロボティクス
ScoRe-Flow: スコアベース強化学習によるフローマッチングの完全な分布制御
フローマッチングポリシーを強化学習で微調整する際、スコア関数によるドリフト変調と学習可能な分散予測を組み合わせ、遷移の平均と分散を分離制御する手法を提案。D4RLや操作タスクで高速収束と成功率向上を実証。
原題: ScoRe-Flow: Complete Distributional Control via Score-Based Reinforcement Learning for Flow Matching / Xiaotian Qiu, Lukai Chen, Jinhao Li 他
日本語で読む → - 論文強化学習ロボティクス
行動制約付き強化学習と後退地平線クレジット割り当てによる高性能制御
専門家の行動から逸脱しすぎずに、デモンストレーションを超える高性能な制御ポリシーを学習する強化学習フレームワークを提案した。
原題: Behavior-Constrained Reinforcement Learning with Receding-Horizon Credit Assignment for High-Performance Control / Siwei Ju, Jan Tauberschmidt, Oleg Arenz 他
日本語で読む → - 論文強化学習/自動運転ロボティクス
実世界アジャイル運転のためのリセットフリー強化学習:実証研究
物理的な1/10スケール車両を滑りやすい屋内トラックで手動リセットなしに連続学習させるリセットフリー強化学習を実証し、シミュレーションと実世界での性能差を明らかにした。
原題: Reset-Free Reinforcement Learning for Real-World Agile Driving: An Empirical Study / Kohei Honda, Hirotaka Hosogaya
日本語で読む → - 論文強化学習/ロバスト制御機械学習
動的不確実性下でのロバストな敵対的方策最適化
強化学習の方策が訓練時と異なる動的環境で失敗する問題に対し、双対問題に基づく温度パラメータを敵対的ネットワークで近似し、軌道レベルとモデルレベルの両方で敵対的サンプリングを行うロバストな方策最適化手法を提案した。
原題: Robust Adversarial Policy Optimization Under Dynamics Uncertainty / Mintae Kim, Koushil Sreenath
日本語で読む → - 論文強化学習機械学習
水中自律航法のための強化学習におけるタスク特化サブネットワークの発見
事前学習済みのマルチタスク強化学習ネットワークの内部構造を解析し、タスク間の識別に使われる重みが全体の約1.5%で、その85%が入力層のコンテキスト変数ノードに接続していることを発見した。
原題: Task-specific Subnetwork Discovery in Reinforcement Learning for Autonomous Underwater Navigation / Yi-Ling Liu, Melvin Laux, Mariela De Lucas Alvarez 他
日本語で読む → - 論文教育/強化学習/WebRTCロボティクス
Web-Gewu: ロボット強化学習のためのブラウザベース対話型プレイグラウンド
WebRTCによるクラウド・エッジ連携アーキテクチャを用いて、ブラウザ上で物理シミュレーションと強化学習トレーニングを低コストで実行できるロボット教育プラットフォームを提案した。
原題: Web-Gewu: A Browser-Based Interactive Playground for Robot Reinforcement Learning / Kaixuan Chen, Linqi Ye
日本語で読む → - 論文強化学習/部分観測/MPC/四足歩行機械学習
PriPG-RL: 部分観測システムのための特権プランナー誘導強化学習と常時実行可能なMPC
部分観測環境下で強化学習ポリシーを訓練する際、訓練時のみ利用可能な特権プランナー(近似モデルと完全状態情報を持つMPC)が学習エージェントを誘導する枠組みを提案し、シミュレーションと実機の四足ロボットで検証した。
原題: PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC / Mohsen Amiri, Mohsen Amiri, Ali Beikmohammadi 他
日本語で読む →
PR・アフィリエイト広告
