論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/6/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習ロボティクス
3D点群強化学習の有効性検証
3D点群を用いた強化学習の設計選択を体系的に検討し、エージェント-物体や物体間の関係推論が重要なタスクで2D画像より優れることを示した。
原題: On the Efficacy of 3D Point Cloud Reinforcement Learning / Zhan Ling, Yunchao Yao, Xuanlin Li 他
日本語で読む → - 論文能動視覚/強化学習機械学習
限られた視覚観測下での能動視覚強化学習
身体エージェントが運動方策と視覚観測を制御する感覚方策を同時に学習する枠組みを提案し、感覚運動報酬で両者を協調させる。
原題: Active Vision Reinforcement Learning under Limited Visual Observability / Jinghuan Shang, Michael S. Ryoo
日本語で読む → - 論文安全フィルタ/強化学習ロボティクス
動的環境におけるRL制御器のためのConformal予測安全フィルタ
他エージェントの軌道予測に不確実性区間を付与し、その区間を避ける安全フィルタを学習することで、強化学習制御器の衝突を抑える手法を提案した。
原題: Conformal Predictive Safety Filter for RL Controllers in Dynamic Environments / Kegan J. Strawn, Nora Ayanian, Lars Lindemann
日本語で読む → - 論文強化学習機械学習
動的障害物回避のための深層強化学習における行動空間の動的区間制限
障害物回避のように各ステップで利用可能な行動が区間状に制限される問題に対し、区間数に依存しないパラメータ化強化学習とConstraintNetの拡張を提案し、既存のマスキングや投影法と比較評価した。
原題: Dynamic Interval Restrictions on Action Spaces in Deep Reinforcement Learning for Obstacle Avoidance / Tim Grams
日本語で読む → - 論文自動運転/強化学習ロボティクス
深層強化学習による予測型マニューバ計画(PMP-DRL):快適で安全な自動運転に向けて
周囲車両の将来位置を予測するモデルと強化学習エージェントを組み合わせ、時空間的な状況情報に基づいて安全かつ快適な運転操作を計画する手法を提案し、実データ由来のシミュレーションで有効性を示した。
原題: Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving / Jayabrata Chowdhury, Vishruth Veerendranath, Suresh Sundaram 他
日本語で読む → - 論文強化学習機械学習
バイアス消失型ヒューリスティック誘導強化学習アルゴリズム
月着陸船環境で古典的手法とニューラルネットワークベースの手法を実装し、初期学習をヒューリスティックで誘導しつつ人間のバイアスを軽減する新しい強化学習アルゴリズムを提案した。
原題: Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm / Qinru Li, Hao Xiang
日本語で読む → - 論文逆強化学習機械学習
拡散モデルから報酬関数を抽出する
低報酬と高報酬の行動をモデル化した2つの意思決定拡散モデルを比較し、相対報酬関数を抽出する手法を提案。ナビゲーションや歩行タスクで有効性を示し、画像生成モデルにも応用。
原題: Extracting Reward Functions from Diffusion Models / Felipe Nuti, Tim Franzmeyer, João F. Henriques
日本語で読む → - 論文安全強化学習機械学習
状態ごとの制約付き方策最適化
強化学習において、各状態での安全制約を満たすことを保証する新しい方策探索アルゴリズムSCPOを提案し、ロボット歩行タスクで有効性を示した。
原題: State-wise Constrained Policy Optimization / Weiye Zhao, Rui Chen, Yifan Sun 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
階層型強化学習による都市自律走行のための行動・軌道計画
LiDARと鳥瞰図を入力に階層型DDPGで将来の軌道と目標ウェイポイントを連続的に計画し、低レベル制御器で操舵・スロットルを生成する都市自律走行手法を提案した。
原題: Action and Trajectory Planning for Urban Autonomous Driving with Hierarchical Reinforcement Learning / Xinyang Lu, Flint Xiaofeng Fan, Tianying Wang
日本語で読む → - 論文強化学習ロボティクス
専門家の観測からピクセルで学ぶ強化学習
専門家の行動ではなく観測のみを中間視覚目標として活用し、スパース報酬のロボット操作タスクをピクセル入力から効率的に学習する手法を提案。
原題: Learning from Pixels with Expert Observations / Minh-Huy Hoang, Long Dinh, Hai Nguyen
日本語で読む → - 論文自動運転/強化学習ロボティクス
深層強化学習による安全・効率的・快適・省エネなラウンドアバウト自動運転
ラウンドアバウト走行の自動運転モデルをDDPG・PPO・TRPOで訓練し、安全性・効率・快適性・エネルギー消費を考慮した報酬設計とAHPによる評価手法を提案した。
原題: Safe, Efficient, Comfort, and Energy-saving Automated Driving through Roundabout Based on Deep Reinforcement Learning / Henan Yuan, Penghui Li, Bart van Arem 他
日本語で読む → - 論文強化学習/公平性ロボティクス
公平性に配慮した方策勾配強化学習によるロボット支援のバイアス低減
ロボットが人間と相互作用する際のバイアスを自己検出し、公平な意思決定を促す強化学習手法FSPGRLを提案。レストランサービスでのユーザ研究で有効性を検証した。
原題: Fairness-Sensitive Policy-Gradient Reinforcement Learning for Reducing Bias in Robotic Assistance / Jie Zhu, Mengsha Hu, Xueyao Liang 他
日本語で読む → - 論文強化学習機械学習
動的計画法を超えて:スコアライフプログラミングによる強化学習
無限ホライズンの行動列を有界区間の実数に写像することで、方策関数を必要とせず最適な行動列を直接計算する新理論を提案し、非線形最適制御問題で有効性を示した。
原題: Beyond dynamic programming / Abhinav Muraleedharan
日本語で読む → - 論文強化学習/制御ロボティクス
強化学習によるCrazyFlie 2.Xクアッドロータの制御
PID制御と強化学習を組み合わせ、CrazyFlie 2.XのPIDゲイン調整とライトハウス測位を用いたナビゲーション制御をシミュレーションで検討した。
原題: Reinforcement Learning-Based Control of CrazyFlie 2.X Quadrotor / Arshad Javeed, Valentín López Jiménez
日本語で読む → - 論文安全強化学習機械学習
価値関数は制御バリア関数である:制御理論による安全な方策の検証
強化学習の方策の安全性を保証するため、学習された価値関数と制御バリア関数の理論的関連を明らかにし、制御理論の検証手法を適用する新しい枠組みを提案した。
原題: Value Functions are Control Barrier Functions: Verification of Safe Policies using Control Theory / Daniel C. H. Tan, Fernando Acero, Robert McCarthy 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のための効率的な拡散ポリシー
拡散モデルを用いたオフライン強化学習のポリシー学習を高速化し、既存手法との互換性を高めるEDPを提案。D4RLで訓練時間を5日から5時間に短縮し、最先端性能を達成。
原題: Efficient Diffusion Policies for Offline Reinforcement Learning / Bingyi Kang, Xiao Ma, Chao Du 他
日本語で読む → - 論文強化学習機械学習
NetHackはハックするのが難しい
NetHackにおけるニューラル方策学習の性能ギャップを分析し、大規模なデモデータセットを構築して、行動階層やニューラルアーキテクチャ、強化学習と模倣学習の統合を検討した結果、最先端のニューラルエージェントを開発したが、記号エージェントやトップ人間プレイヤーには及ばないことを示した。
原題: NetHack is Hard to Hack / Ulyana Piterbarg, Lerrel Pinto, Rob Fergus
日本語で読む → - 論文強化学習機械学習
方策再利用における近視眼的行動の価値について
過去の方策の短期的な行動を共有可能な要素として抽出し、ハイブリッド価値関数で適応的に統合することで、新しいタスクの学習を効率化するSMECフレームワークを提案。
原題: On the Value of Myopic Behavior in Policy Reuse / Kang Xu, Chenjia Bai, Shuang Qiu 他
日本語で読む → - 論文強化学習機械学習
ランダム特徴を用いた自己教師あり強化学習によるタスク間転移
ランダムな報酬で自己教師あり事前学習したモデルフリー強化学習により、長期的な環境ダイナミクスを暗黙的にモデル化し、新しい報酬関数のタスクへ迅速に適応する手法を提案。
原題: Self-Supervised Reinforcement Learning that Transfers using Random Features / Boyuan Chen, Chuning Zhu, Pulkit Agrawal 他
日本語で読む → - 論文強化学習機械学習
品質多様性強化学習のための近接方策勾配樹状構造
オンポリシーRLのPPOを微分可能品質多様性フレームワークに初めて適用し、多様なスキルを効率的に獲得するPPGAを提案。
原題: Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning / Sumeet Batra, Bryon Tjanaka, Matthew C. Fontaine 他
日本語で読む → - 論文強化学習機械学習
集団支援オフポリシー強化学習の再考
集団ベース最適化とオフポリシー強化学習の併用が不安定性を引き起こすことを分析し、ダブルリプレイバッファ設計で改善する手法を提案した。
原題: Rethinking Population-assisted Off-policy Reinforcement Learning / Bowen Zheng, Ran Cheng
日本語で読む → - 論文安全強化学習機械学習
GUARD: 安全強化学習のための統合ベンチマーク
安全制約付き強化学習アルゴリズムを多様なタスクで公平に比較・評価するための統合ベンチマークGUARDを提案し、最先端手法のベースラインを確立した。
原題: GUARD: A Safe Reinforcement Learning Benchmark / Weiye Zhao, Yifan Sun, Feihan Li 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
パラメータ化スキルと事前知識を活用した自動運転のための効率的強化学習
人間の運転学習に倣い、高レベルな運動スキル空間での意思決定と専門家の事前知識を同時に活用する強化学習アルゴリズムASAP-RLを提案し、密な交通環境での自動運転タスクにおいて学習効率と運転性能を向上させた。
原題: Efficient Reinforcement Learning for Autonomous Driving with Parameterized Skills and Priors / Letian Wang, Jie Liu, Hao Shao 他
日本語で読む → - 論文強化学習機械学習
PROTO: 反復的政策正則化によるオフライン・オンライン強化学習
オフライン事前学習とオンライン微調整を組み合わせる際に、反復的に進化する正則化項を導入することで、安定した微調整と高い最終性能を両立させる枠組みを提案した。
原題: PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning / Jianxiong Li, Xiao Hu, Haoran Xu 他
日本語で読む → - 論文安全強化学習ロボティクス
制御Lyapunov障壁関数を用いた安全なロボット制御のための強化学習
動的モデルを使わずデータのみから安全性と到達可能性を評価する制御Lyapunov障壁関数(CLBF)を導入し、その条件を満たす制御器を探索するモデルフリー強化学習手法LBACを提案。2Dクアッドロータのナビゲーション実験で有効性を示した。
原題: Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions / Desong Du, Shaohang Han, Naiming Qi 他
日本語で読む → - 論文マルチエージェント強化学習AI
競争的自動カリキュラムにおける創発的行動のためのシュタッケルベルクゲーム
2人マルチエージェント強化学習をリーダーとフォロワーの階層構造を持つシュタッケルベルクゲームとして定式化し、リーダーの優位性を利用して環境の非対称性を緩和し、より洗練された協調戦略の学習を可能にするST-MADDPGを提案した。
原題: Stackelberg Games for Learning Emergent Behaviors During Competitive Autocurricula / Boling Yang, Liyuan Zheng, Lillian J. Ratliff 他
日本語で読む → - 論文メタ強化学習機械学習
自己教師ありタスク表現学習に基づくメタ強化学習
ガウス混合モデルによるタスク表現とオンライン適応を組み合わせ、非定常・分布外タスクにも対応するメタ強化学習手法MoSSを提案した。
原題: Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning / Mingyang Wang, Zhenshan Bing, Xiangtong Yao 他
日本語で読む → - 論文強化学習/スケジューリング機械学習
動的マテリアルハンドリングのための制約付き強化学習
AGVの動的マテリアルハンドリングを制約付きマルコフ決定過程として定式化し、ラグランジュ緩和と無効行動マスキングを組み合わせた適応的制約付き強化学習アルゴリズムRCPOMを提案。シミュレータDMH-GYMも開発し、既存手法より優れた性能を示した。
原題: Constrained Reinforcement Learning for Dynamic Material Handling / Chengpeng Hu, Ziming Wang, Jialin Liu 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
確率的アンサンブルニューラルネットワークダイナミクスによる能動的探索と不確実性を考慮した展開の橋渡し
確率的アンサンブルNNでダイナミクスを学習し、Jensen-Renyiダイバージェンスで不確実性を定量化、サンプリングベースMPCで探索と不確実性回避を統合したモデルベース強化学習フレームワークを提案。
原題: Bridging Active Exploration and Uncertainty-Aware Deployment Using Probabilistic Ensemble Neural Network Dynamics / Taekyung Kim, Jungwi Mun, Junwon Seo 他
日本語で読む → - 論文強化学習機械学習
地図ベース経験再生:強化学習における破滅的忘却へのメモリ効率的な解決策
強化学習の経験再生メモリを自己組織化ネットワークで地図状に整理し、類似サンプルを統合することでメモリを大幅に削減しつつ破滅的忘却を抑える手法を提案した。
原題: Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning / Muhammad Burhan Hafez, Tilman Immisch, Tom Weber 他
日本語で読む →
PR・アフィリエイト広告
