論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
Decision TransformerにおいてTransformerはどれほど重要か?
Decision TransformerのTransformer部分をLSTMに置き換えたDecision LSTMを提案し、連続制御タスクで比較した結果、Transformer自体よりも系列モデリング全体のアーキテクチャが重要である可能性を示した。
原題: How Crucial is Transformer in Decision Transformer? / Max Siebenborn, Boris Belousov, Junning Huang 他
日本語で読む → - 論文強化学習機械学習
連続エピソディック制御
連続行動空間における強化学習のための非パラメトリックなエピソディックメモリ手法を提案し、スパース報酬の連続制御タスクで高速学習を実現した。
原題: Continuous Episodic Control / Zhao Yang, Thomas M. Moerland, Mike Preuss 他
日本語で読む → - 論文マルチエージェント強化学習AI
マルチエージェント強化学習のための説明可能な行動アドバイス
教師が行動とその理由の説明を生徒に与えることで、生徒が自己反省しアドバイスを一般化できるようにし、サンプル効率と性能を向上させる手法を提案した論文。
原題: Explainable Action Advising for Multi-Agent Reinforcement Learning / Yue Guo, Joseph Campbell, Simon Stepputtis 他
日本語で読む → - 論文強化学習ロボティクス
学習済み報酬関数によるショベルカー操作者の自動評価
ショベルカーの操作スキルを自動評価するため、内部ダイナミクスと安全性を考慮した報酬関数を学習し、強化学習エージェントの訓練にも応用して安全性の向上を実証した。
原題: Automatic Evaluation of Excavator Operators using Learned Reward Functions / Pranav Agarwal, Marek Teichmann, Sheldon Andrews 他
日本語で読む → - 論文強化学習ロボティクス
完全観測ポリシーを活用した部分観測下での強化学習
シミュレータで完全観測の専門家ポリシーをオフライン学習に利用し、部分観測環境でのオンライン強化学習性能を向上させる手法を提案。
原題: Leveraging Fully Observable Policies for Learning under Partial Observability / Hai Nguyen, Andrea Baisero, Dian Wang 他
日本語で読む → - 論文安全強化学習ロボティクス
データ駆動型予測制御を用いた安全な強化学習
強化学習の安全性を確保するため、データ駆動型予測制御による安全フィルタを提案し、ロボットナビゲーションで既存手法を上回る性能を示した。
原題: Safe Reinforcement Learning using Data-Driven Predictive Control / Mahmoud Selim, Amr Alanwar, M. Watheq El-Kharashi 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
グラフニューラルネットワークによる情報集約で実現するスケーラブルなマルチエージェント強化学習
各エージェントが近傍情報のみを使うマルチエージェント強化学習において、グラフニューラルネットワークでActorとCriticの局所情報を集約するInforMARLを提案し、サンプル効率と任意のエージェント数・障害物数へのスケーラビリティを向上させた。
原題: Scalable Multi-Agent Reinforcement Learning through Intelligent Information Aggregation / Siddharth Nayak, Kenneth Choi, Wenqi Ding 他
日本語で読む → - 論文安全強化学習ロボティクス
外乱オブザーバベースの制御バリア関数を用いた安全で効率的な強化学習
外乱オブザーバで不確かさを推定し制御バリア関数に組み込むことで、モデル学習なしに学習中の安全性を保証する強化学習手法を提案した。
原題: Safe and Efficient Reinforcement Learning Using Disturbance-Observer-Based Control Barrier Functions / Yikun Cheng, Pan Zhao, Naira Hovakimyan
日本語で読む → - 論文オフライン強化学習機械学習
ウォール街木探索:オフライン強化学習のためのリスク認識型計画法
金融の現代ポートフォリオ理論を強化学習に応用し、不確実性によるリスクを考慮しながら行動を選ぶオフラインRLの計画アルゴリズムを提案。Transformerと組み合わせて最先端の性能を達成した。
原題: Wall Street Tree Search: Risk-Aware Planning for Offline Reinforcement Learning / Dan Elbaz, Gal Novik, Oren Salzman
日本語で読む → - 論文強化学習/航空交通制御機械学習
自律航空移動のための説明可能で安全な強化学習
深層強化学習による航空交通の衝突回避制御を、安全性と効率性のQ値に分解して説明可能性を高め、敵対的攻撃下での安全性も評価した研究。
原題: Explainable and Safe Reinforcement Learning for Autonomous Air Mobility / Lei Wang, Hongyu Yang, Yi Lin 他
日本語で読む → - 論文強化学習ロボティクス
単一デモンストレーションからの強化学習における逐次性の活用
単一のデモンストレーションから逐次的な目標条件付き方策を学習し、ヒューマノイドの歩行や立ち上がりなどの複雑なロボットタスクを高いサンプル効率で解決する手法を提案。
原題: Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration / Alexandre Chenu, Olivier Serris, Olivier Sigaud 他
日本語で読む → - 論文軌道最適化×強化学習ロボティクス
CACTO: 軌道最適化を統合した連続アクター・クリティックによる大域的最適化への挑戦
軌道最適化と強化学習を組み合わせ、軌道最適化の局所解問題と強化学習の学習効率問題を相互補完するCACTOを提案し、障害物回避を伴う到達タスクで有効性を示した。
原題: CACTO: Continuous Actor-Critic with Trajectory Optimization -- Towards global optimality / Gianluigi Grandesso, Elisa Alboni, Gastone P. Rosati Papini 他
日本語で読む → - 論文強化学習機械学習
軌道データからの対称性検出による強化学習表現の意味付け
強化学習システムの対称性を生の軌道データから自動検出し、圧縮された意味のある状態表現を作る手法を提案。
原題: Symmetry Detection in Trajectory Data for More Meaningful Reinforcement Learning Representations / Marissa D'Alonzo, Rebecca Russell
日本語で読む → - 論文強化学習機械学習
最適輸送と段階的ドメイン適応によるカリキュラム強化学習
強化学習のカリキュラムを、タスク分布間の最適輸送問題として定式化し、Wasserstein重心による測地線補間で段階的なタスク列を生成する手法GRADIENTを提案した論文。
原題: Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation / Peide Huang, Mengdi Xu, Jiacheng Zhu 他
日本語で読む → - 論文オフライン強化学習機械学習
相互情報量正則化によるオフライン強化学習
データセット内の状態と行動の相互情報量を直接制約することで、分布シフトに強いオフライン強化学習フレームワークMISAを提案し、D4RLベンチマークで大幅な性能向上を達成した。
原題: Mutual Information Regularized Offline Reinforcement Learning / Xiao Ma, Bingyi Kang, Zhongwen Xu 他
日本語で読む → - 論文階層強化学習機械学習
DHRL: グラフを用いた長期的・スパースな階層強化学習
階層強化学習において、高レベルと低レベルのポリシーの時間軸をグラフで分離し、長期的なタスクを効率的に学習する手法を提案。
原題: DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning / Seungjae Lee, Jigang Kim, Inkyu Jang 他
日本語で読む → - 論文安全強化学習ロボティクス
多項式ゾノトープと到達可能性解析を用いた行動投影による証明可能な安全強化学習
強化学習エージェントの行動を安全な行動に投影する安全シールドを提案し、多項式ゾノトープによる到達可能性解析で非線形連続システムの安全性を保証する。
原題: Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes / Niklas Kochdumper, Hanna Krasowski, Xiao Wang 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
SAM-RL: 微分可能な物理シミュレーションとレンダリングによるセンシング認識型モデルベース強化学習
微分可能な物理シミュレーションとレンダリングを活用し、実画像とレンダリング画像を比較してモデルを自動更新することで、効率的に方策を学習するモデルベース強化学習システムを提案し、組立・工具操作・変形物体操作の実世界タスクで有効性を示した。
原題: SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering / Jun Lv, Yunhai Feng, Cheng Zhang 他
日本語で読む → - 論文マルチエージェント強化学習/自動運転ロボティクス
難シーンにおけるコネクテッド自動運転車の時空間認識型安全マルチエージェント強化学習
GCN-Transformerで時空間情報を符号化し、制御バリア関数による安全シールドを組み込んだ制約付きマルチエージェント強化学習により、非接続の危険車両が存在する難運転シーンでのCAVの安全性と効率を向上させる手法を提案した。
原題: Spatial-Temporal-Aware Safe Multi-Agent Reinforcement Learning of Connected Autonomous Vehicles in Challenging Scenarios / Zhili Zhang, Songyang Han, Jiangwei Wang 他
日本語で読む → - 論文強化学習AI
マルチタスク方策学習から創発する単純な行動表現
マルチタスク方策ネットワークに状態とタスク埋め込みを入力すると意味のある行動表現空間が創発し、埋め込みの補間や合成で行動系列を指示できることを示した研究。
原題: Simple Emergent Action Representations from Multi-Task Policy Training / Pu Hua, Yubei Chen, Huazhe Xu
日本語で読む → - 論文メタ強化学習機械学習
メタ強化学習におけるハイパーネットワーク
メタ強化学習においてハイパーネットワークの初期化が性能に大きく影響することを示し、新しい初期化手法を提案して複数のロボティクスベンチマークで有効性を検証した。
原題: Hypernetworks in Meta-Reinforcement Learning / Jacob Beck, Matthew Thomas Jackson, Risto Vuorio 他
日本語で読む → - 論文強化学習機械学習
D-Shape: 目標条件付けによる模倣形状強化学習
模倣学習と強化学習を報酬整形と目標条件付きRLで統合し、劣ったデモからでも最適方策を学習できる手法を提案。
原題: D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning / Caroline Wang, Garrett Warnell, Peter Stone
日本語で読む → - 論文強化学習/飛行制御ロボティクス
Harfang3D ドッグファイト・サンドボックス:戦闘機のカスタム制御タスク向け強化学習研究プラットフォーム
戦闘機の飛行制御やドッグファイトを強化学習で研究するための半リアルな3D飛行シミュレーション環境を提案し、指定地点への航法と近距離空戦の2タスクで学習実験を行った。
原題: Harfang3D Dog-Fight Sandbox: A Reinforcement Learning Research Platform for the Customized Control Tasks of Fighter Aircrafts / Muhammed Murat Özbek, Süleyman Yıldırım, Muhammet Aksoy 他
日本語で読む → - 論文強化学習ロボティクス
歩行とマニピュレーションのための小型ポリシーの効率的学習
グラフハイパーネットワークを用いて、通常より2桁小さいネットワークで歩行・操作タスクの高性能ポリシーを学習する手法を提案。
原題: Efficiently Learning Small Policies for Locomotion and Manipulation / Shashank Hegde, Gaurav S. Sukhatme
日本語で読む → - 論文オフライン強化学習機械学習
行動なし軌道を用いた半教師ありオフライン強化学習
ラベル付き軌道から逆動力学モデルを学習し、ラベルなし軌道に代理ラベルを付与することで、オフライン強化学習を半教師あり設定で行う手法を提案し、その有効性を検証した。
原題: Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories / Qinqing Zheng, Mikael Henaff, Brandon Amos 他
日本語で読む → - 論文強化学習ロバスト性ロボティクス
外乱注入による連続制御向け強化学習のロバスト性評価
オープンソースのベンチマークで外乱を注入し、連続行動空間における強化学習アルゴリズムのロバスト性を比較評価した。
原題: Characterising the Robustness of Reinforcement Learning for Continuous Control using Disturbance Injection / Catherine R. Glossop, Jacopo Panerati, Amrit Krishnan 他
日本語で読む → - 論文強化学習ロボティクス
ロボティクスにおける強化学習の簡潔な入門
ロボットの移動や制御に強化学習を応用する研究を概観し、成功例と課題をまとめた入門的サーベイ。
原題: A Concise Introduction to Reinforcement Learning in Robotics / Akash Nagaraj, Mukund Sood, Bhagya M Patil
日本語で読む → - 論文オフライン強化学習ロボティクス
視覚的バックトラッキング遠隔操作:画像ベースオフライン強化学習のためのデータ収集プロトコル
遠隔操作で失敗・回復・成功を意図的に収集するVBTプロトコルを提案し、Tシャツ把持タスクでオフライン強化学習の性能を13%向上させた。
原題: Visual Backtracking Teleoperation: A Data Collection Protocol for Offline Image-Based Reinforcement Learning / David Brandfonbrener, Stephen Tu, Avi Singh 他
日本語で読む → - 論文強化学習/分散計算ロボティクス
ローカルとリモート計算機を活用した視覚ベースロボティクスのリアルタイム強化学習
ロボットに接続された非力なローカル計算機と強力なリモート計算機の間で強化学習の計算を分散させるReLoDシステムを実装し、SACとPPOの性能を視覚ベースの制御タスクで評価した。
原題: Real-Time Reinforcement Learning for Vision-Based Robotics Utilizing Local and Remote Computers / Yan Wang, Gautham Vasan, A. Rupam Mahmood
日本語で読む → - 論文目標条件付き強化学習機械学習
事前学習済みスキルによる目標探索拡張:疎報酬・長期ホライズン目標条件付き強化学習
疎報酬の長期タスクを解くため、類似環境で頻出する目標遷移パターンからスキルを事前学習し、そのスキルを目標探索に活用することで探索効率を高める手法を提案した論文。
原題: Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning / Lisheng Wu, Ke Chen
日本語で読む →
PR・アフィリエイト広告
