論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/10/26 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
遅延報酬の単純和を超えて:強化学習のための非マルコフ報酬モデリング
遅延報酬が単純な報酬の和ではなく複雑な構造を持つ場合を扱うRLCoDe問題を提案し、非マルコフ成分の重み付き和でモデル化するCoDeTrを開発した。
原題: Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning / Yuting Tang, Xin-Qiang Cai, Jing-Cheng Pang 他
日本語で読む → - 論文安全強化学習機械学習
絶対的状態制約付き方策最適化:高確率での状態制約満足
強化学習において、確率的システムで状態ごとの安全制約を高い確率で満たす新しい方策探索アルゴリズムASCPOを提案し、ロボット歩行タスクで有効性を示した。
原題: Absolute State-wise Constrained Policy Optimization: High-Probability State-wise Constraints Satisfaction / Weiye Zhao, Feihan Li, Yifan Sun 他
日本語で読む → - 論文強化学習/車両制御ロボティクス
強化学習による参照不要のフォーミュラドリフト:走行データからタイヤエネルギー着想の実世界ポリシーへ
走行データから学習した車両モデル上で強化学習を行い、ウェイポイントに沿って実車でドリフト走行を実現した。
原題: Reference-Free Formula Drift with Reinforcement Learning: From Driving Data to Tire Energy-Inspired, Real-World Policies / Franck Djeumou, Michael Thompson, Makoto Suminaka 他
日本語で読む → - 論文安全強化学習/制御ロボティクス
外乱下でのマルチコプタ衝突回避追従のための安全強化学習フィルタ
外乱がある環境でマルチコプタが衝突せずに軌道追従できるよう、ロバスト制御バリア関数と二次計画法を組み合わせた安全フィルタを強化学習に導入した研究。
原題: Safe Reinforcement Learning Filter for Multicopter Collision-Free Tracking under disturbances / Qihan Qi, Xinsong Yang, Gang Xia
日本語で読む → - 論文強化学習/汎化画像認識
重要なものに集中:視覚ベース強化学習の汎化のための分離モデル
画像再構成を活用しつつ、タスク関連・無関連の表現を分離する2分岐モデルと一貫性損失で、未知環境への汎化性能を高める手法SMGを提案。
原題: Focus On What Matters: Separated Models For Visual-Based RL Generalization / Di Zhang, Bowen Lv, Hai Zhang 他
日本語で読む → - 論文強化学習/LLM報酬機械学習
大規模言語モデルフィードバックによる意思決定エージェントのためのオンライン内的報酬
LLMのフィードバックを非同期で利用し、RL方策と内的報酬関数を同時に学習する分散アーキテクチャONIを提案。NetHackで最先端性能を達成し、大規模オフラインデータセットを不要にした。
原題: Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback / Qinqing Zheng, Mikael Henaff, Amy Zhang 他
日本語で読む → - 論文強化学習/制御機械学習
直駆動タンデム翼実験プラットフォーム向けのプラグアンドプレイ完全オンザジョブリアルタイム強化学習アルゴリズム
タンデム翼の非線形空力干渉下での運動制御のため、物理に着想を得たルールベース方策合成と摂動モジュールを組み込んだプラグアンドプレイ型リアルタイム強化学習アルゴリズムを開発し、複数のランダム動作条件で追従精度と収束速度を大幅に改善した。
原題: A Plug-and-Play Fully On-the-Job Real-Time Reinforcement Learning Algorithm for a Direct-Drive Tandem-Wing Experiment Platforms Under Multiple Random Operating Conditions / Zhang Minghao, Song Bifeng, Yang Xiaojun 他
日本語で読む → - 論文安全強化学習AI
安全変調アクター・クリティック法:モデルフリー安全強化学習とUAVホバリングへの応用
安全制約を満たすために行動を変調する「安全変調器」とQ値の過大評価を抑える分布型クリティックを組み合わせた強化学習手法を提案し、UAVホバリング実験で有効性を示した。
原題: A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering / Qihan Qi, Xinsong Yang, Gang Xia 他
日本語で読む → - 論文モデルベース強化学習機械学習
Drama: Mambaを活用したモデルベース強化学習のサンプル効率とパラメータ効率
Mambaをベースにした状態空間モデルで世界モデルを構築し、Atari100kで競争力のある性能を700万パラメータで達成した研究。
原題: Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient / Wenlong Wang, Ivana Dusparic, Yucheng Shi 他
日本語で読む → - 論文安全強化学習ロボティクス
外乱オブザーバに基づく制御バリア関数と残差モデル学習を組み合わせた安全強化学習
外乱オブザーバと残差モデル学習を組み合わせた制御バリア関数により、不確かなダイナミクス下でも安全な強化学習を実現するフレームワークを提案し、Safety-gymと実機F1/10カーで有効性を示した。
原題: Disturbance Observer-based Control Barrier Functions with Residual Model Learning for Safe Reinforcement Learning / Dvij Kalaria, Qin Lin, John M. Dolan
日本語で読む → - 論文マルチエージェント強化学習cs.MA
OPTIMA: 協調を考慮した自動運転車を実現するインテリジェントマルチエージェントシステム向け最適化ポリシー
接続自動運転車の協調タスク向けに、環境との相互作用からのデータサンプリングとマルチエージェント強化学習を交互に行う分散学習フレームワークOPTIMAを提案し、安全性と効率性を両立させる。
原題: OPTIMA: Optimized Policy for Intelligent Multi-Agent Systems Enables Coordination-Aware Autonomous Vehicles / Rui Du, Kai Zhao, Jinlong Hou 他
日本語で読む → - 論文強化学習機械学習
複雑な報酬関数のためのカリキュラム強化学習
複数の報酬項を持つ複雑なタスクに対し、単純な報酬から複雑な報酬へと段階的に移行する二段階カリキュラムを提案し、制約を守りつつタスクを達成する方策を学習できるようにした。
原題: Curriculum Reinforcement Learning for Complex Reward Functions / Kilian Freitag, Kristian Ceder, Rita Laezza 他
日本語で読む → - 論文制約付き強化学習機械学習
敵対的制約付き方策最適化:バジェット適応による制約付き強化学習の改善
報酬最大化と制約予算の適応を敵対的な2段階で交互に最適化する制約付き強化学習手法を提案し、Safety Gymnasiumと四足歩行タスクで有効性を示した。
原題: Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets / Jianmina Ma, Jingtian Ji, Yue Gao
日本語で読む → - 論文制約付き強化学習AI
適応的ポリシー切替による強化学習における時相論理制約の確率的充足
強化学習中に時相論理で表される制約を確率的に満たすため、報酬最大化と制約充足のポリシーを適応的に切り替える枠組みを提案し、理論的正当性とシミュレーションで有効性を示した。
原題: Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching / Xiaoshan Lin, Sadık Bera Yüksel, Yasin Yazıcıoğlu 他
日本語で読む → - 論文強化学習機械学習
データ拡張なしで視覚ベース強化学習をゼロショット汎化
視覚ベース強化学習において、連想記憶と潜在空間の disentanglement を組み合わせることで、データ拡張に頼らず未知環境へのゼロショット汎化を実現する手法 ALDA を提案した。
原題: Zero-Shot Generalization of Vision-Based RL Without Data Augmentation / Sumeet Batra, Gaurav S. Sukhatme
日本語で読む → - 論文逆強化学習ロボティクス
教師なし特徴選択による透明な報酬モデルの学習
専門家のデモデータから、自動選択した状態特徴を用いて明示的な形のコンパクトな報酬関数を推定し、強化学習で専門家に近い方策を学習する手法を提案した論文。
原題: Learning Transparent Reward Models via Unsupervised Feature Selection / Daulet Baimukashev, Gokhan Alcan, Kevin Sebastian Luck 他
日本語で読む → - 論文階層的強化学習ロボティクス
拡散モデルとオプションの融合:時間的に拡張されたタスクのための階層的生成スキル構成
線形時相論理で指定された長期タスクを、拡散モデルと階層強化学習を組み合わせてオプションの連鎖に分解し、再計画しながら実行するフレームワークを提案。
原題: Diffusion Meets Options: Hierarchical Generative Skill Composition for Temporally-Extended Tasks / Zeyu Feng, Hao Luan, Kevin Yuchen Ma 他
日本語で読む → - 論文オフライン強化学習機械学習
拡散モデル誘導型適応的再評価付き暗黙的Q学習
拡散モデルで状態行動系列を学習し、価値関数と組み合わせて適応的に意思決定の長さを調整するオフライン強化学習手法DIARを提案。長期的・報酬疎なタスクで既存手法を上回る。
原題: DIAR: Diffusion-model-guided Implicit Q-learning with Adaptive Revaluation / Jaehyun Park, Yunho Kim, Sejin Kim 他
日本語で読む → - 論文マルチエージェント強化学習制御
ポテンシャルゲームと低ランク政策構造によるマルチエージェント到達回避MDP
マルチエージェント到達回避MDPを局所フィードバック政策で解き、ポテンシャルゲーム構造を利用して通信・メモリ・計算量を削減しつつ最適解に近い性能を達成する手法を提案。
原題: Multi-agent Reach-avoid MDP via Potential Games and Low-rank Policy Structure / Adam Casselman, Abraham P. Vinod, Sarah H. Q. Li
日本語で読む → - 論文強化学習機械学習
複数センサを用いた深層強化学習のためのマルチモーダル情報ボトルネック
自己中心画像と固有感覚からタスクに関連する統合表現を学習するマルチモーダル情報ボトルネックを提案し、サンプル効率とノイズに対するゼロショット頑健性を向上させた。
原題: Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors / Bang You, Huaping Liu
日本語で読む → - 論文強化学習機械学習
複雑なQ関数における決定論的方策勾配の準最適性の緩和
強化学習において、Q関数の局所最適に陥りやすい問題を解決するため、複数の行動候補から最良を選び、Q関数を繰り返し近似するSAVOアーキテクチャを提案し、複雑なタスクでの性能向上を実証した。
原題: Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions / Ayush Jain, Norio Kosaka, Xinhu Li 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
単純から複雑への知識転移:自動運転意思決定のための安全で効率的な強化学習フレームワーク
軽量環境で訓練した教師モデルが複雑な実環境で生徒エージェントを介入支援し、徐々に自立させる強化学習フレームワークS2CDを提案。自動運転の意思決定を安全かつ効率的に学習させる。
原題: Knowledge Transfer from Simple to Complex: A Safe and Efficient Reinforcement Learning Framework for Autonomous Driving Decision-Making / Rongliang Zhou, Jiakun Huang, Mingjun Li 他
日本語で読む → - 論文安全強化学習ロボティクス
安全フィルタを訓練中に組み込む:強化学習エージェントの性能とサンプル効率の改善
強化学習の訓練時に安全フィルタを組み込み、エージェントがフィルタを考慮して学習できるようにする複数の手法を分析し、Crazyflie 2.0ドローンでの実験で性能・サンプル効率・安全性・チャタリングへの影響を評価した。
原題: Safety Filtering While Training: Improving the Performance and Sample Efficiency of Reinforcement Learning Agents / Federico Pizarro Bejarano, Lukas Brunke, Angela P. Schoellig
日本語で読む → - 論文水中ロボティクス/強化学習ロボティクス
MarineGym: 高忠実度RLシミュレーションによる水中ビークルの高速学習
GPU加速により実時間比1万倍の速度で水中ロボットの強化学習を可能にするシミュレーションフレームワークMarineGymを提案し、4つの追従タスクで有効性を検証した。
原題: MarineGym: Accelerated Training for Underwater Vehicles with High-Fidelity RL Simulation / Shuguang Chu, Zebin Huang, Mingwei Lin 他
日本語で読む → - 論文モデルベース強化学習機械学習
注意を向けるべき対象を際立たせる:視覚的妨害下でのタスク関連再構成による視覚制御
視覚的妨害がある環境でのモデルベース強化学習において、セグメンテーションマスクを用いてタスク関連部分のみを再構成する補助タスクを導入し、表現学習を効率化する手法を提案。
原題: Make the Pertinent Salient: Task-Relevant Reconstruction for Visual Control with Distractions / Kyungmin Kim, JB Lanier, Pierre Baldi 他
日本語で読む → - 論文オフライン強化学習機械学習
動特性ずれに頑健な条件付き拡散プランナー
動特性が異なる大規模データと少量の目標データを条件付き拡散モデルで統合し、データ不足下のオフライン強化学習を改善する手法を提案。
原題: Off-dynamics Conditional Diffusion Planners / Wen Zheng Terence Ng, Jianda Chen, Tianwei Zhang
日本語で読む → - 論文強化学習ロボティクス
不完全なシステムダイナミクスを活用した強化学習の誘導
システムの既知・未知部分を分離し、部分的なモデルに基づく埋め込みコントローラで強化学習を誘導することで、サンプル効率と汎化性能を改善する手法を提案した。
原題: Guiding Reinforcement Learning with Incomplete System Dynamics / Shuyuan Wang, Jingliang Duan, Nathan P. Lawrence 他
日本語で読む → - 論文強化学習機械学習
TOP-ERL: Transformerを用いたオフポリシー・エピソディック強化学習
長い行動軌跡をセグメントに分割し、Transformerベースのクリティックで各セグメントの状態行動価値を推定することで、エピソディック強化学習をオフポリシーで効率的に学習する手法を提案した。
原題: TOP-ERL: Transformer-based Off-Policy Episodic Reinforcement Learning / Ge Li, Dong Tian, Hongyi Zhou 他
日本語で読む → - 論文強化学習/制御ロボティクス
速度履歴を用いたSoft Actor-CriticによるIROS'24競技への挑戦
Soft Actor-CriticにCNNで履歴を符号化したコンテキストベクトルを追加し、PendubotとAcrobotの不安定な劣駆動系を安定化する手法を提案した。
原題: Velocity-History-Based Soft Actor-Critic Tackling IROS'24 Competition "AI Olympics with RealAIGym" / Tim Lukas Faust, Habib Maraqten, Erfan Aghadavoodi 他
日本語で読む → - 論文強化学習ロボティクス
目標対比報酬による実機ロボット強化学習
人間や他ロボットの行動なし動画から密な報酬関数を学習し、実機ロボットの強化学習を効率化する手法GCRを提案。
原題: On-Robot Reinforcement Learning with Goal-Contrastive Rewards / Ondrej Biza, Thomas Weng, Lingfeng Sun 他
日本語で読む →
PR・アフィリエイト広告
