論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/3/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習・計画ロボティクス
強化学習と動的計画法に基づく計画の関係
強化学習と計画の違いを整理し、非確率化した強化学習と価値反復法やダイクストラ法を比較して、コスト最小化と報酬最大化の等価条件などを解析した。
原題: Relating Reinforcement Learning to Dynamic Programming-Based Planning / Filip V. Georgiev, Kalle G. Timperi, Başak Sakçak 他
日本語で読む → - 論文強化学習ロボティクス
Hybrid TD3:ハイブリッド行動空間における過大評価バイアス分析と安定方策最適化
離散・連続が混在するハイブリッド行動空間に対応したTD3拡張手法を提案し、過大評価バイアスの理論解析と重み付きクリップQ学習により訓練安定性を向上させた。
原題: Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space / Thanh-Tuan Tran, Thanh Nguyen Canh, Nak Young Chong 他
日本語で読む → - 論文強化学習/適応制御ロボティクス
世界モデルフィードバックによるオンライン連続強化学習を用いた自己適応ロボットエージェント
ロボット制御の展開中に環境変化へ自動適応するため、世界モデルの予測残差で異常を検出し、微調整を自動トリガーするオンライン連続強化学習フレームワークを提案した。
原題: Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback / Fabian Domberg, Georg Schildbach
日本語で読む → - 論文強化学習/探索ロボティクス
どこで学ぶか:オンポリシーロボット強化学習のための解析的方針勾配による指向的探索
微分可能な力学モデルからの解析的方針勾配を用いて、タスク認識かつ物理に基づくガイダンスを注入し、高報酬領域への探索を促進する新しい指向的探索手法を提案した。
原題: Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning / Leixin Chang, Xinchen Yao, Ben Liu 他
日本語で読む → - 論文強化学習ロボティクス
解析的力学正則化による物理情報を活用した方策最適化
ロボット制御の強化学習に、シミュレータから得られる微分可能なラグランジュ残差を正則化項として導入し、物理的に一貫した方策学習を効率化する手法PIPERを提案した。
原題: Physics-Informed Policy Optimization via Analytic Dynamics Regularization / Namai Chandra, Liu Mohan, Zhihao Gu 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
スカラー報酬を超えて:安全で信頼性の高い自動運転のための事前順序付き目的を持つ分布強化学習
複数の競合する目的(安全性、効率性、快適性)を扱うため、報酬成分に事前順序を導入したPr-MOMDPと、分布を単一統計量に縮約せず比較するQuantile Dominance指標を提案し、自動運転タスクで安全性と成功率を向上させた。
原題: Beyond Scalar Rewards: Distributional Reinforcement Learning with Preordered Objectives for Safe and Reliable Autonomous Driving / Ahmed Abouelazm, Jonas Michel, Daniel Bogdoll 他
日本語で読む → - 論文筋骨格ロボット/強化学習ロボティクス
Diff-Muscle: 筋骨格ロボット卓球のための効率的学習
筋骨格ロボットの制御を、微分平坦性を用いて冗長な筋活性化空間から低次元の関節空間へ再定式化し、階層的強化学習により卓球ラリーを実現する手法を提案した。
原題: Diff-Muscle: Efficient Learning for Musculoskeletal Robotic Table Tennis / Wentao Zhao, Jun Guo, Kangyao Huang 他
日本語で読む → - 論文VLA/強化学習/蒸留ロボティクス
VLA-OPD: オフラインSFTとオンラインRLを架橋する、オンポリシー蒸留による視覚言語行動モデル
視覚言語行動モデルの事後学習において、オフラインSFTの分布ずれや破滅的忘却と、オンラインRLのスパース報酬や非効率性を解決するため、専門家教師による密なトークンレベル監督を学生の自己生成軌道に適用し、Reverse-KL目的で安定した学習を実現するフレームワークを提案した。
原題: VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation / Zhide Zhong, Haodong Yan, Junfeng Li 他
日本語で読む → - 論文計画/強化学習ロボティクス
GraSP-STL: オフライン目標条件付き強化学習によるゼロショット信号時相論理計画のためのグラフベースフレームワーク
オフラインデータのみを用いて、未見のSTL仕様を満たす制御戦略をゼロショットで合成するグラフ探索ベースのフレームワークを提案した。
原題: GraSP-STL: A Graph-Based Framework for Zero-Shot Signal Temporal Logic Planning via Offline Goal-Conditioned Reinforcement Learning / Ancheng Hou, Ruijia Liu, Xiang Yin
日本語で読む → - 論文強化学習機械学習
SPAARS: 抽象探索と行動空間の洗練された活用による安全なRLポリシー整合
オフラインからオンラインへの強化学習において、潜在空間での安全な探索から生の行動空間での活用へと移行するカリキュラム学習フレームワークを提案し、デコーダの再構成損失による性能上限を克服する。
原題: SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space / Swaminathan S K, Aritra Hazra
日本語で読む → - 論文モデルベース強化学習機械学習
R2-Dreamer: デコーダやデータ拡張なしの冗長性低減世界モデル
画像ベースのモデルベース強化学習において、デコーダを使わず、データ拡張にも頼らない自己教師ありの冗長性低減目的で表現崩壊を防ぐフレームワークR2-Dreamerを提案し、既存手法と同等以上の性能を達成しつつ学習を高速化した。
原題: R2-Dreamer: Redundancy-Reduced World Models without Decoders or Augmentation / Naoki Morihira, Amal Nahar, Kartik Bharadwaj 他
日本語で読む → - 論文器用操作/強化学習ロボティクス
多様なリセットと大規模強化学習による創発的な器用さ
シミュレータのリセットを多様化して強化学習に様々なロボットと物体の相互作用を経験させることで、単一の報酬関数と固定ハイパーパラメータで長時間の器用な操作タスクを解くフレームワークOmniResetを提案した。
原題: Emergent Dexterity via Diverse Resets and Large-Scale Reinforcement Learning / Patrick Yin, Tyler Westenbroek, Zhengyu Zhang 他
日本語で読む → - 論文強化学習ロボティクス
Rainbow-DemoRL: デモンストレーション強化強化学習の改良を組み合わせる
オフラインデータを活用したオンライン強化学習のサンプル効率向上手法を3分類し、各手法の組み合わせ効果を実証的に分析した論文。
原題: Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning / Dwait Bhatt, Shih-Chieh Chou, Nikolay Atanasov
日本語で読む → - 論文強化学習/操作ロボティクス
事前学習から熟達へ:分布収縮型強化学習による効率的なスキル習得
事前学習済みの生成ロボットポリシーを、分布収縮型強化学習(DICE-RL)で微調整し、高成功率の行動を増幅して高性能な「プロ」ポリシーへと進化させる手法を提案。シミュレーションと実機で高次元ピクセル入力からの複雑な長期的操作スキルの習得を実証した。
原題: From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning / Zhanyi Sun, Shuran Song
日本語で読む → - 論文強化学習/共有制御/リハビリテーションロボティクス
分離タスク空間におけるイベント駆動型人-ロボット共適応のためのデュアルエージェント・マルチモデル強化学習
上肢リハビリロボットの共有制御において、人間のバイナリ指令とロボットの自律補正をイベント駆動で切り替え、デュアルエージェント強化学習により人間の速度-精度トレードオフとロボットの動作ステップを適応させる手法を提案した。
原題: Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces / Yaqi Li, Zhengqi Han, Huifang Liu 他
日本語で読む → - 論文強化学習/動作模倣ロボティクス
反復動作模倣による自転車ロボットのフリップスタント
実現不可能な参照動作を反復的に模倣する手法(IMI)を提案し、自転車ロボット(UMV)で前転フリップを成功させた。
原題: Flip Stunts on Bicycle Robots using Iterative Motion Imitation / Jeonghwan Kim, Shamel Fahmi, Seungeun Rho 他
日本語で読む → - 論文強化学習/交通制御機械学習
RE-SAC: バス群制御における偶然不確実性と認識不確実性の分離 — 安定でロバストなアンサンブル深層強化学習アプローチ
バス運行の待機制御において、偶然不確実性と認識不確実性を明示的に分離するアンサンブルSACを提案し、Q値の不安定化を抑えて希少状態での推定誤差を最大62%削減した。
原題: RE-SAC: Disentangling aleatoric and epistemic risks in bus fleet control: A stable and robust ensemble DRL approach / Yifan Zhang, Liang Zheng
日本語で読む → - 論文強化学習/自動運転ロボティクス
減衰残差方策最適化による実世界自動運転レースの効率化
残差方策学習を拡張し、ベース方策を徐々に減衰させて単独のニューラル方策を得る手法を提案し、1/10スケールの自動運転レースでシミュレーションと実機の両方で性能を向上させた。
原題: Efficient Real-World Autonomous Racing via Attenuated Residual Policy Optimization / Raphael Trumpp, Denis Hoornaert, Mirco Theile 他
日本語で読む → - 論文オフライン強化学習ロボティクス
後続遷移の再重み付けによる保守的オフラインロボット方策学習
ロボットのオフライン事後学習で、各サンプルの行動後の結果に基づいて学習への影響度を再重み付けする手法PTRを提案。不均一なデータセットでの保守的な適応を改善する。
原題: Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting / Wanpeng Zhang, Hao Luo, Sipeng Zheng 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
強化学習と対戦車両の姿勢推定を用いた自動追い越し軌道最適化
LiDARと深度カメラのセンサ融合と強化学習により、自動運転レースでの追い越し軌道を最適化する手法を提案し、シミュレーションと実機で有効性を確認した。
原題: Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation / Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran 他
日本語で読む → - 論文安全強化学習機械学習
制約付き楽観的探索を用いたオフポリシー安全強化学習
安全制約を満たすオフポリシー強化学習アルゴリズムCOX-Qを提案し、コスト制約付き探索と分布価値学習により、サンプル効率と安全性を両立させた。
原題: Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration / Guopeng Li, Matthijs T. J. Spaan, Julian F. P. Kooij
日本語で読む → - 論文階層的強化学習ロボティクス
HierKick: 視覚誘導サッカーロボット制御のための階層的強化学習
サッカーロボット制御のための二周波数階層型強化学習フレームワークを提案し、高レベル方策で戦術選択、低レベル制御で精密な関節動作を実現。シミュレーションと実機で高い成功率を達成した。
原題: HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control / Yizhi Chen, Zheng Zhang, Zhanxiang Cao 他
日本語で読む → - 論文強化学習/自律走行ロボティクス
専門知識駆動型強化学習による自律レーシング:軌道誘導と動的制約の活用
最小曲率レーシングラインによる軌道誘導と車両動的制約を強化学習に組み込み、二段階カリキュラム学習で安定走行から高速走行へと段階的に学習する自律レーシング手法を提案した。
原題: Expert Knowledge-driven Reinforcement Learning for Autonomous Racing via Trajectory Guidance and Dynamics Constraints / Bo Leng, Weiqi Zhang, Zhuoren Li 他
日本語で読む → - 論文強化学習機械学習
オフポリシー強化学習への批判的マッチ損失ランドスケープ可視化の適応
オンライン強化学習向けの批判的マッチ損失ランドスケープ可視化手法を、リプレイベースのオフポリシー強化学習(SACなど)に適応させ、批判的学習の最適化幾何学を可視化する手法を提案した。宇宙機の姿勢制御問題に適用し、収束・発散のケースで異なる幾何学的パターンを示すことを確認した。
原題: Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning / Jingyi Liu, Jian Guo, Eberhard Gill
日本語で読む → - 論文強化学習ロボティクス
ResWM: 残差アクション世界モデルによる視覚強化学習
視覚強化学習において、絶対アクションではなく前ステップからの差分である残差アクションを制御変数とする世界モデルを提案し、制御の滑らかさと学習安定性を向上させた。
原題: ResWM: Residual-Action World Model for Visual RL / Jseen Zhang, Gabriel Adineera, Jinzhou Tan 他
日本語で読む → - 論文オフライン強化学習ロボティクス
一段階フローポリシーによる潜在方針の操縦
オフライン強化学習において、元の行動空間のQ勾配を微分可能な一段階MeanFlowポリシーを通じて逆伝播させ、潜在行動空間のアクターを更新する新しい手法LPSを提案。代理の潜在批評家を排除し、行動制約付き生成事前分布として機能させることで、最小限のチューニングで高い性能を達成した。
原題: Latent Policy Steering through One-Step Flow Policies / Hokyun Im, Andrey Kolobov, Jianlong Fu 他
日本語で読む → - 論文強化学習機械学習
条件付き近位方策最適化による拡散ポリシー
拡散モデルを用いたポリシーをオン・ポリシー強化学習で効率的に訓練する新しい手法を提案。拡散過程とポリシー更新を整合させ、単純なガウス確率の評価のみで学習を可能にし、エントロピー正則化も自然に扱える。
原題: Diffusion Policy through Conditional Proximal Policy Optimization / Ben Liu, Shunpeng Yang, Hua Chen
日本語で読む → - 論文強化学習機械学習
整列とフィルタリング:非同期オン方策強化学習の性能向上
分散学習と高頻度更新によるポリシーラグ(データ生成と学習の不整合)を軽減するため、全変動に基づくアドバンテージ整列制約付きポリシー最適化手法を提案し、古典的RLタスクとLLM数学推論タスクで有効性を検証した。
原題: Align and Filter: Improving Performance in Asynchronous On-Policy RL / Homayoun Honari, Roger Creus Castanyer, Michael Przystupa 他
日本語で読む → - 論文VLA/強化学習ロボティクス
SmoothVLA: 内在的滑らかさ最適化による物理的制約へのVLAモデル整合
ロボット操作のためのVLAモデルに対し、軌道の滑らかさを内在報酬として組み込んだ強化学習フレームワークを提案し、タスク性能と物理的実現性を両立させた。
原題: SmoothVLA: Aligning Vision-Language-Action Models with Physical Constraints via Intrinsic Smoothness Optimization / Jiashun Li, Xiaoyu Shi, Hong Xie 他
日本語で読む → - 論文強化学習/遊泳ロボットロボティクス
拘束下での遊泳:四足生物模倣推進のための安全強化学習フレームワーク
四足ロボットの遊泳を、推力を最大化しつつ不安定化力を最小化する制約付き最適化問題として定式化し、PID調整ラグランジュ乗数を用いた安全強化学習手法ACPPO-PIDを提案。模倣学習と実機曳航試験で初期化・調整し、自由遊泳への転移を実証した。
原題: Swimming Under Constraints: A Safe Reinforcement Learning Framework for Quadrupedal Bio-Inspired Propulsion / Xinyu Cui, Fei Han, Hang Xu 他
日本語で読む →
PR・アフィリエイト広告
