論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/10/24 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文モデルベース強化学習機械学習
世界モデルを混乱させるのはどれほど難しいか
強化学習における「最も混乱させるインスタンス」の概念をニューラルネットワーク世界モデルに拡張し、制約付き最適化問題として定式化して敵対的訓練で解く手法を提案した。
原題: How Hard is it to Confuse a World Model? / Waris Radji, Odalric-Ambrym Maillard
日本語で読む → - 論文強化学習/世界モデル機械学習
DreamerV3-XP:不確実性推定による探索の最適化
世界モデル強化学習DreamerV3に優先経験再生とアンサンブル不確実性に基づく内的報酬を追加し、疎な報酬環境での探索と学習効率を改善した。
原題: DreamerV3-XP: Optimizing exploration through uncertainty estimation / Lukas Bierling, Davide Pasero, Jan-Henrik Bertrand 他
日本語で読む → - 論文強化学習/解釈可能性機械学習
埋め込み次元の増大が単純ソートタスクにおける世界モデルを強化する
強化学習でバブルソート風の隣接交換を学習するTransformerにおいて、埋め込み次元が内部世界モデルの形成に与える影響を調査し、次元が大きいほど構造的で解釈可能な表現が得られることを示した。
原題: Higher Embedding Dimension Creates a Stronger World Model for a Simple Sorting Task / Brady Bhalla, Honglu Fan, Nancy Chen 他
日本語で読む → - 論文強化学習機械学習
D2C-HRHR: 高リスク高リターンタスクのための離散行動と二重分布クリティック
高リスク高リターンなタスクでは行動分布が多峰的で報酬が確率的になるため、連続行動を離散化しエントロピー正則化と二重クリティックで価値分布を推定する強化学習フレームワークを提案した。
原題: D2C-HRHR: Discrete Actions with Double Distributional Critics for High-Risk-High-Return Tasks / Jundong Zhang, Yuhui Situ, Fanji Zhang 他
日本語で読む → - 論文強化学習テスト機械学習
多様性の追求:深層強化学習エージェントの多目的テスト
深層強化学習エージェントの安全性テストにおいて、失敗の多様性と発生しやすさを同時に最適化する多目的探索手法INDAGO-Nexusを提案し、従来手法より多くの固有の失敗を発見した。
原題: The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents / Antony Bartlett, Cynthia Liem, Annibale Panichella
日本語で読む → - 論文強化学習機械学習
Deep SPI:世界モデルによる安全な方策改善
世界モデルと表現学習を組み合わせたオンライン強化学習において、方策更新を現在の方策の近傍に制限することで単調改善と収束を保証する理論的枠組みを構築し、その理論に基づくアルゴリズムDeepSPIを提案した論文。
原題: Deep SPI: Safe Policy Improvement via World Models / Florent Delgrange, Raphael Avalos, Willem Röpke
日本語で読む → - 論文強化学習機械学習
未知のダイナミクスを持つ多動物行動のデータ駆動型シミュレータ:オフライン・オンライン強化学習による実現
深層強化学習と反実仮想シミュレーションを用いて、未知の運動ダイナミクスを持つ多動物の行動を再現・予測するデータ駆動型シミュレータを構築した。
原題: Data-driven simulator of multi-animal behavior with unknown dynamics via offline and online reinforcement learning / Keisuke Fujii, Kazushi Tsutsui, Yu Teshima 他
日本語で読む → - 論文強化学習機械学習
目標条件付き強化学習のためのテスト時グラフ探索
既存の目標条件付き強化学習ポリシーに、学習不要の軽量なグラフ探索ラッパーを組み合わせることで、長期的タスクの成功率を大幅に向上させる手法を提案した。
原題: Test-Time Graph Search for Goal-Conditioned Reinforcement Learning / Evgenii Opryshko, Junwei Quan, Claas Voelcker 他
日本語で読む → - 論文モデルベース強化学習機械学習
計画としての時空間予測:生成的世界モデルを用いたモデルベース強化学習アプローチ
時空間予測をモデルベース強化学習の問題として捉え、生成的世界モデルとビーム探索による計画で非微分な評価指標を報酬として活用し、極端事象の捕捉精度を高める手法を提案した。
原題: Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models / Hao Wu, Yuan Gao, Xingjian Shi 他
日本語で読む → - 論文強化学習q-bio.NC
深層強化学習で訓練したRNNエージェントによるゼブラフィッシュ幼生の捕食行動の解析
深層強化学習で訓練したリカレントエージェントが、ゼブラフィッシュ幼生の捕食行動を再現し、その行動を生む最小限の制約条件を明らかにした。
原題: Dissecting Larval Zebrafish Hunting using Deep Reinforcement Learning Trained RNN Agents / Raaghav Malik, Satpreet H. Singh, Sonja Johnson-Yu 他
日本語で読む → - 論文強化学習機械学習
D2AC:拡散方策と分布型クリティックを融合した強化学習
拡散モデルベースの方策を安定してオンライン学習させるため、分布型RLとクリップ付き二重Q学習を組み合わせた頑健なクリティックを提案し、多数の難タスクで最高性能を達成した。
原題: D2 Actor Critic: Diffusion Actor Meets Distributional Critic / Lunjun Zhang, Shuo Han, Hanrui Lyu 他
日本語で読む → - 論文部分観測強化学習機械学習
蒸留か決定か?部分観測強化学習におけるアルゴリズム的トレードオフの理解
部分観測強化学習において、特権的な潜在状態情報を用いた専門家蒸留と標準的な強化学習の間のトレードオフを理論モデルと実験で調査し、潜在ダイナミクスの確率性が選択に影響することを示した。
原題: To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning / Yuda Song, Dhruv Rohatgi, Aarti Singh 他
日本語で読む → - 論文強化学習ロボティクス
深層強化学習におけるSO(3)行動表現の入門
ロボット制御のための深層強化学習において、回転行動の表現方法(オイラー角、クォータニオン、回転行列、リー代数座標)が探索や学習安定性に与える影響を系統的に評価し、実装ガイドラインを提供した論文。
原題: A Primer on SO(3) Action Representations in Deep Reinforcement Learning / Martin Schuck, Sherif Samy, Angela P. Schoellig
日本語で読む → - 論文量子強化学習quant-ph
量子古典ハイブリッド方策勾配によるサイバーフィジカルシステムの適応制御:VQCとMLPの比較研究
CartPole環境で古典的MLPと変分量子回路(VQC)を強化学習エージェントとして比較し、MLPが高性能・高ロバスト性を示す一方、VQCはパラメータ数が少ないが性能とノイズ耐性に課題があることを明らかにした。
原題: Hybrid Quantum-Classical Policy Gradient for Adaptive Control of Cyber-Physical Systems: A Comparative Study of VQC vs. MLP / Aueaphum Aueawatthanaphisut, Nyi Wunna Tun
日本語で読む → - 論文安全強化学習機械学習
安全フィルタリング下での証明可能に最適な強化学習
安全フィルタを環境の一部として組み込んだフィルタ済みMDPを定式化し、十分に許容的なフィルタを用いれば漸近性能を損なわずに安全性を保証できることを証明した。
原題: Provably Optimal Reinforcement Learning under Safety Filtering / Donggeon David Oh, Duy P. Nguyen, Haimin Hu 他
日本語で読む → - 論文オフライン強化学習機械学習
DEAS: 行動系列を用いた分離価値学習によるスケーラブルなオフライン強化学習
行動系列を価値学習に活用し、価値の過大評価を分離学習で抑えることで、長期的タスクのオフライン強化学習や大規模VLAモデルの性能を向上させる手法を提案。
原題: DEAS: DEtached value learning with Action Sequence for Scalable Offline RL / Changyeon Kim, Haeone Lee, Younggyo Seo 他
日本語で読む → - 論文強化学習/自律走行機械学習
自律走行レースのための文脈認識型モデルベース強化学習
対戦相手の運転挙動をエピソードの文脈としてパラメータ化し、モデルベース強化学習に文脈認識機構cMaskを導入することで、未知の対戦相手挙動への汎化性能を向上させた。
原題: Context-Aware Model-Based Reinforcement Learning for Autonomous Racing / Emran Yasser Moustafa, Ivana Dusparic
日本語で読む → - 論文探索/強化学習ロボティクス
HEADER: 専門家誘導報酬を用いた注意機構ベース階層型強化学習によるロボット探索
大規模環境でのロボット自律探索を効率化するため、階層グラフと注意機構を組み合わせた強化学習手法HEADERを提案し、シミュレーションと実機で既存手法を上回る探索効率を実証した。
原題: HEADER: Hierarchical Robot Exploration via Attention-Based Deep Reinforcement Learning with Expert-Guided Reward / Yuhong Cao, Yizhuo Wang, Jingsong Liang 他
日本語で読む → - 論文強化学習/制御ロボティクス
TARC: 時間適応型ロボット制御
強化学習により、ロボットが状況に応じて制御周波数を自律的に調整し、制御動作とその持続時間を同時に選択する手法を提案。RCカーと四足歩行ロボットで実機検証し、固定周波数制御と同等以上の性能を保ちつつ制御周波数を大幅に削減。
原題: TARC: Time-Adaptive Robotic Control / Arnav Sukhija, Lenart Treven, Jin Cheng 他
日本語で読む → - 論文強化学習/ニューロモルフィックAI
スパイキングニューラルネットワークの逐次強化学習のための適応的サロゲート勾配
スパイキングニューラルネットワークの強化学習において、サロゲート勾配の傾きを適応的に調整し、特権ガイドポリシーで学習をブートストラップする手法を提案。実世界のドローン位置制御で性能を2.1倍改善した。
原題: Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks / Korneel Van den Berghe, Stein Stroobants, Vijay Janapa Reddi 他
日本語で読む → - 論文ソフトロボティクス/強化学習ロボティクス
這い方を学ぶ:ソフトロボットの適応移動のための潜在モデルベース強化学習
機体センサーから推定した潜在ダイナミクスを予測モデルとして強化学習に組み込み、ソフトロボットがノイズの多いセンサー情報だけから移動方策を獲得できることをシミュレーションで示した。
原題: Learning to Crawl: Latent Model-Based Reinforcement Learning for Soft Robotic Adaptive Locomotion / Vaughn Gzenda, Robin Chhabra
日本語で読む → - 論文連続制御/強化学習機械学習
構造的最大化可能なQ関数によるアクターフリー連続制御
連続行動空間での制御において、アクターを別途学習せずにQ関数の構造的最大化を利用する純粋な価値ベース強化学習フレームワークを提案し、標準的なシミュレーションタスクで従来手法と同等以上の性能とサンプル効率を達成した。
原題: Actor-Free Continuous Control via Structurally Maximizable Q-Functions / Yigit Korkmaz, Urvi Bhuwania, Ayush Jain 他
日本語で読む → - 論文模倣学習/オフライン強化学習ロボティクス
非専門家データを活用したオフライン強化学習による模倣学習のロバスト化
非専門家データ(プレイデータや不完全なデモ)をオフライン強化学習で活用し、模倣学習ポリシーの回復性と汎化性能を高める手法を提案。
原題: Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning / Kevin Huang, Rosario Scalise, Cleah Winston 他
日本語で読む → - 論文階層型強化学習ロボティクス
高次元動的システムの適応制御に向けたマルチタイムスケール安定性保持階層型強化学習コントローラフレームワーク
階層型強化学習とニューラルリアプノフ関数を組み合わせ、高次元確率システムの安定性を保証しながら制御するフレームワークを提案。8次元超混沌系と5自由度ロボットマニピュレータで有効性を実証した。
原題: A Novel Multi-Timescale Stability-Preserving Hierarchical Reinforcement Learning Controller Framework for Adaptive Control in High-Dimensional Dynamical Systems / Mohammad Ali Labbaf Khaniki, Fateme Taroodi, Benyamin Safizadeh
日本語で読む → - 論文点群強化学習ロボティクス
PCA正規化によるロバストな点群強化学習
点群強化学習において、PCAベースの正規化で任意の剛体変換を標準姿勢に揃え、未知のカメラ視点に対するロバスト性を向上させる手法を提案。
原題: Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization / Michael Bezick, Vittorio Giammarino, Ahmed H. Qureshi
日本語で読む → - 論文オフライン強化学習ロボティクス
DiSA-IQL: 分布シフト下でのロバストなソフトロボット制御のためのオフライン強化学習
ソフトヘビロボットの制御において、分布シフトに対処するため信頼できない状態行動ペアにペナルティを与えるIQL拡張手法DiSA-IQLを提案し、オフラインRLでベースラインより高い成功率とロバスト性を達成した。
原題: DiSA-IQL: Offline Reinforcement Learning for Robust Soft Robot Control under Distribution Shifts / Linjin He, Xinda Qi, Dong Chen 他
日本語で読む → - 論文安全強化学習ロボティクス
適応的行動スケーリングによる制約認識型強化学習
予測される制約違反に応じてエージェントの行動を滑らかにスケーリングするモジュール型調整器を提案し、SACやTD3と組み合わせて安全性と性能を両立させた。
原題: Constraint-Aware Reinforcement Learning via Adaptive Action Scaling / Murad Dawood, Usama Ahmed Siddiquie, Shahram Khorshidi 他
日本語で読む → - 論文強化学習/探索ロボティクス
概念駆動型探索による強化学習
事前学習済み視覚言語モデルから得た物体概念を補助タスクで再構成し、その精度を内在的報酬として探索を誘導する手法を提案。視覚マニピュレーションで効率的な探索を実現し、実機でも80%の成功率を示した。
原題: CDE: Concept-Driven Exploration for Reinforcement Learning / Le Mao, Andrew H. Liu, Renos Zabounidis 他
日本語で読む → - 論文強化学習ロボティクス
ロボティクスと制御システムにおける強化学習の分類と動向:構造化レビュー
強化学習(RL)と深層強化学習(DRL)のロボティクス・制御への応用を体系的にレビューし、アルゴリズム、応用分野、訓練手法、実用化レベルを分類した。
原題: Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review / Kumater Ter, Abolanle Adetifa, Daniel Udekwe
日本語で読む → - 論文強化学習レースロボティクス
強化学習によるF1TENTHレースでの実環境追い抜きの加速
F1TENTH車両に強化学習エージェントを実装し、対戦相手と訓練することで実世界での追い抜き成功率を87%まで向上させた。
原題: Accelerating Real-World Overtaking in F1TENTH Racing Employing Reinforcement Learning Methods / Emily Steiner, Daniel van der Spuy, Futian Zhou 他
日本語で読む →
PR・アフィリエイト広告
