論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文オフライン強化学習ロボティクス
安全を考慮した因果表現による信頼できるオフライン強化学習(自動運転向け)
自動運転のオフライン強化学習において、報酬・コスト・状態・行動の因果関係を活用した構造化シナリオ表現FUSIONを提案し、未見環境でも安全性と汎化性能を向上させた。
原題: Safety-aware Causal Representation for Trustworthy Offline Reinforcement Learning in Autonomous Driving / Haohong Lin, Wenhao Ding, Zuxin Liu 他
日本語で読む → - 論文強化学習機械学習
SeRO: 分布外状況からの回復のための自己教師あり強化学習
強化学習エージェントが分布外状態に陥った際に、自己教師ありで元の状態分布へ戻る方法を学習し、元タスクの性能を回復させる手法を提案した。
原題: SeRO: Self-Supervised Reinforcement Learning for Recovery from Out-of-Distribution Situations / Chan Kim, Jaekyung Cho, Christophe Bobda 他
日本語で読む → - 論文模倣学習/強化学習AI
RLIF: 対話型模倣学習を強化学習として再解釈する
対話型模倣学習における専門家の介入信号を報酬として用いることで、専門家が最適でなくてもそれを超える行動を学習できる強化学習手法を提案し、理論解析と高次元連続制御タスクでの評価を行った。
原題: RLIF: Interactive Imitation Learning as Reinforcement Learning / Jianlan Luo, Perry Dong, Yuexiang Zhai 他
日本語で読む → - 論文強化学習機械学習
タスク固有知識を必要としない自己教師ありカリキュラム生成による自律強化学習
タスク固有の初期状態や報酬関数を使わず、成功識別器を自己教師ありで学習してエージェントの進捗に適応したカリキュラムを生成する自律強化学習手法を提案し、手動リセットを大幅に削減した。
原題: Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge / Sang-Hyun Lee, Seung-Woo Seo
日本語で読む → - 論文メタ強化学習機械学習
確率的モデルベースメタ強化学習によるデータ効率的なタスク汎化
動力学モデルの事前分布をメタ学習し、不確実性を活用して探索を導くことで、データが乏しい状況でも新しい動力学に素早く適応できるモデルベースメタ強化学習手法を提案した。
原題: Data-Efficient Task Generalization via Probabilistic Model-based Meta Reinforcement Learning / Arjun Bhardwaj, Jonas Rothfuss, Bhavya Sukhija 他
日本語で読む → - 論文モデルベース強化学習機械学習
DreamSmooth:報酬平滑化によるモデルベース強化学習の改善
モデルベース強化学習において、正確な報酬予測の代わりに時間的に平滑化した報酬を予測することで、長期的なスパース報酬タスクの性能を向上させる手法を提案。
原題: DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing / Vint Lee, Pieter Abbeel, Youngwoon Lee
日本語で読む → - 論文メタ強化学習機械学習
夢から適応へ:潜在コンテキスト想像とMDP想像によるメタ強化学習
メタ強化学習において、学習済み潜在コンテキスト空間の補間と生成的世界モデルによる想像を組み合わせ、少ない実タスクとデータで効率的に新規タスクへ適応する手法MetaDreamerを提案。
原題: Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination / Lu Wen, Songan Zhang, H. Eric Tseng 他
日本語で読む → - 論文強化学習/混合交通ロボティクス
EnduRL: 実世界の外乱下における混合交通の安全性・安定性・効率を強化学習で向上
実走行データから抽出した加速プロファイルをシミュレーションに組み込み、渋滞段階分類器を用いた強化学習でロボット車を制御し、混合交通の安全性・効率・安定性を大幅に改善した。
原題: EnduRL: Enhancing Safety, Stability, and Efficiency of Mixed Traffic Under Real-World Perturbations Via Reinforcement Learning / Bibek Poudel, Weizi Li, Kevin Heaslip
日本語で読む → - 論文逆強化学習機械学習
逆強化学習のための新しい変分下界
最適性ノードを持つ確率グラフィカルモデルに基づき、報酬関数と方策を同時に学習する新しい逆強化学習手法を提案し、既存手法を上回る性能を示した。
原題: A Novel Variational Lower Bound for Inverse Reinforcement Learning / Yikang Gui, Prashant Doshi
日本語で読む → - 論文自動運転/強化学習ロボティクス
DRNet:深層強化学習による自動運転の車線変更意思決定手法
深層強化学習を用いて、周囲車両の運転スタイルを考慮しつつ安全な車線変更を学習するDRNetを提案し、DDQNなどのベースラインを上回る性能を示した。
原題: DRNet: A Decision-Making Method for Autonomous Lane Changingwith Deep Reinforcement Learning / Kunpeng Xu, Lifei Chen, Shengrui Wang
日本語で読む → - 論文強化学習機械学習
リスク考慮型エージェントの理論:アクター・クリティックと経済学の橋渡し
経済学の期待効用仮説を用いてリスク考慮型強化学習の理論的基盤を解明し、悲観的アクターと楽観的アクターを備えた新しいアルゴリズムDual Actor-Criticを提案した。
原題: On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics / Michal Nauman, Marek Cygan
日本語で読む → - 論文強化学習機械学習
状態距離情報を用いた多様な戦略の反復学習
強化学習において、状態空間の距離情報を多様性指標に組み込み、反復学習フレームワークと組み合わせることで、戦略的に多様で解釈可能な方策を効率的に学習する手法SIPOを提案した。
原題: Iteratively Learn Diverse Strategies with State Distance Information / Wei Fu, Weihua Du, Jingwei Li 他
日本語で読む → - 論文オフライン強化学習機械学習
拡散行動モデルによるスコア正則化方策最適化
拡散モデルで学習した行動方策のスコア関数を使い、方策勾配を正則化することで、拡散サンプリングを回避した高速な決定論的方策をオフライン強化学習で獲得する手法を提案。
原題: Score Regularized Policy Optimization through Diffusion Behavior / Huayu Chen, Cheng Lu, Zhengyi Wang 他
日本語で読む → - 論文強化学習ロボティクス
宇宙機の衝突回避のための自律的意思決定計画:強化学習アプローチ
強化学習を用いて宇宙機の衝突回避の自律的意思決定を実現する手法を提案し、不確実性を考慮したPOMDPフレームワークでAIを訓練する。
原題: Spacecraft Autonomous Decision-Planning for Collision Avoidance: a Reinforcement Learning Approach / Nicolas Bourriez, Adrien Loizeau, Adam F. Abdin
日本語で読む → - 論文オフライン強化学習AI
手術ロボット環境におけるオフライン強化学習のための最適輸送の活用
少数の専門家デモンストレーションを用いて最適輸送によりオフライン軌道に報酬を自動付与し、手術ロボット学習のためのオフライン強化学習を可能にする手法を提案した。
原題: Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning in Surgical Robotic Environments / Maryam Zare, Parham M. Kebria, Abbas Khosravi
日本語で読む → - 論文マルチタスク強化学習ロボティクス
PolyTask: 行動蒸留による統合ポリシーの学習
各タスクの少数のデモから個別ポリシーを学習し、行動蒸留で単一の統合ポリシーにまとめる手法を提案。マルチタスク・生涯学習で従来手法を大きく上回る。
原題: PolyTask: Learning Unified Policies through Behavior Distillation / Siddhant Haldar, Lerrel Pinto
日本語で読む → - 論文強化学習機械学習
絶対方策最適化
最悪ケースの性能下限を保証しつつ単調改善を実現する新しい目的関数と、その実用的アルゴリズムAPO/PAPOを提案し、連続制御とAtariで性能を向上させた。
原題: Absolute Policy Optimization / Weiye Zhao, Feihan Li, Yifan Sun 他
日本語で読む → - 論文モデルベース強化学習機械学習
TD-MPC2:連続制御のためのスケーラブルで堅牢な世界モデル
学習した潜在世界モデル上で軌道最適化を行うモデルベース強化学習TD-MPCを改良し、104タスクで高性能かつ単一のハイパーパラメータで動作、317Mパラメータの単一エージェントで80タスクをこなせることを示した。
原題: TD-MPC2: Scalable, Robust World Models for Continuous Control / Nicklas Hansen, Hao Su, Xiaolong Wang
日本語で読む → - 論文強化学習ロボティクス
知覚強化学習のための差分符号化観測空間
画像ベースの強化学習において、リプレイバッファを動画の差分符号化で圧縮し、メモリ使用量を最大16.7倍削減しつつ学習性能を維持する手法を提案。
原題: Differentially Encoded Observation Spaces for Perceptive Reinforcement Learning / Lev Grossman, Brian Plancher
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
マルチエージェント自動運転システムにおける二段階社会的選好認識
他エージェントの社会的価値志向(SVO)を推定する認識ネットワークを二段階で学習し、協調的な自動運転を実現する手法を提案した。
原題: A Two-stage Based Social Preference Recognition in Multi-Agent Autonomous Driving System / Jintao Xue, Dongkun Zhang, Rong Xiong 他
日本語で読む → - 論文強化学習ロボティクス
Eureka: コーディングLLMによる人間レベルの報酬設計
GPT-4などのLLMを活用して報酬関数を自動生成・進化させ、強化学習で複雑なロボット操作タスクを人間専門家を超える性能で学習させる手法を提案。
原題: Eureka: Human-Level Reward Design via Coding Large Language Models / Yecheng Jason Ma, William Liang, Guanzhi Wang 他
日本語で読む → - 論文強化学習ロボティクス
強化学習適応ファジィ制御による照明システム:航空機キャビンへの応用
ファジィ推論とQ学習を組み合わせ、ユーザーのフィードバックを報酬として照明設定をオンラインで個人の好みに適応させるアルゴリズムを開発し、航空機キャビンのモックアップでユーザー研究により有効性を検証した。
原題: Reinforcement learning adaptive fuzzy controller for lighting systems: application to aircraft cabin / Kritika Vashishtha, Anas Saad, Reza Faieghi 他
日本語で読む → - 論文安全強化学習ロボティクス
階層型適応チャンス制約セーフガードによる安全な強化学習
安全回復率を代理チャンス制約として用いる適応的なモデルフリー安全RL手法ACSを提案し、探索中および収束後の安全性を反復的に保証する。
原題: Safe Reinforcement Learning via Hierarchical Adaptive Chance-Constraint Safeguards / Zhaorun Chen, Zhuokai Zhao, Tairan He 他
日本語で読む → - 論文強化学習ロボティクス
大規模言語モデルを用いた物理スキルのための報酬学習
LLMからタスク知識を引き出し、環境フィードバックを活用して報酬関数を反復的に自己整合させる手法を提案し、3つのシミュレーション物理スキルタスクで有効性を示した。
原題: Learning Reward for Physical Skills using Large Language Model / Yuwei Zeng, Yiqing Xu
日本語で読む → - 論文安全強化学習機械学習
強化学習における安全な探索:一般化定式化とアルゴリズム
強化学習の安全な探索問題を統一的に定式化し、制約違反を高確率で防ぎながら方策を最適化するメタアルゴリズムMASEを提案した。
原題: Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms / Akifumi Wachi, Wataru Hashimoto, Xun Shen 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
TD3強化学習による自動運転車のT字路ナビゲーション
TD3強化学習を用いた単一エージェント手法で、密集交通下のT字路を安全かつ効率的に走行する自動運転車を実現し、CARLA上で従来手法より遅延・衝突・コストを改善した。
原題: Deep Reinforcement Learning for Autonomous Vehicle Intersection Navigation / Badr Ben Elallid, Hamza El Alaoui, Nabil Benamar
日本語で読む → - 論文モデルベース強化学習/オフロード走行ロボティクス
運転の仕方に注意を払え:オフロード走行のための安全で適応的なモデルベース強化学習
システム同定トランスフォーマと適応的ダイナミクスモデルを組み合わせ、リスクを考慮したMPPI制御により、オフロード走行ロボットの安全性と適応性を両立させるモデルベース強化学習手法を提案した。
原題: Pay Attention to How You Drive: Safe and Adaptive Model-Based Reinforcement Learning for Off-Road Driving / Sean J. Wang, Honghao Zhu, Aaron M. Johnson
日本語で読む → - 論文安全強化学習ロボティクス
安全制約を埋め込んだMDPと軌道最適化による強化学習
安全制約をMDPの行動空間に埋め込み、軌道最適化で安全な軌道に変換することで、報酬最大化と安全性の両立を図る強化学習手法を提案し、実機の箱押しタスクで有効性を示した。
原題: Reinforcement Learning in a Safety-Embedded MDP with Trajectory Optimization / Fan Yang, Wenxuan Zhou, Zuxin Liu 他
日本語で読む → - 論文強化学習機械学習
f-方策勾配:f-ダイバージェンスを用いた目標条件付き強化学習の一般フレームワーク
目標条件付き強化学習において、エージェントの状態訪問分布と目標との間のf-ダイバージェンスを最小化することで探索を促進する新しい手法f-PGを提案し、スパース報酬環境での性能向上を示した。
原題: $f$-Policy Gradients: A General Framework for Goal Conditioned RL using $f$-Divergences / Siddhant Agarwal, Ishan Durugkar, Peter Stone 他
日本語で読む → - 論文強化学習機械学習
オンライン強化学習のためのオフライン再学習:探索バイアスを緩和する分離型方策学習
オンライン強化学習で探索用の方策と評価用の方策を分離し、全対話データから悲観的に方策を再学習することで探索バイアスを抑え性能を向上させる手法を提案。
原題: Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias / Max Sobol Mark, Archit Sharma, Fahim Tajwar 他
日本語で読む →
PR・アフィリエイト広告
