論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習ロボティクス
ゼロから始めない:事前データを活用したロボット強化学習の自動化
多様なオフラインデータを活用し、新タスクへの適応と環境リセットを自律的に行うロボット強化学習手法を提案。サンプル効率と汎化性能を向上させる。
原題: Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning / Homer Walke, Jonathan Yang, Albert Yu 他
日本語で読む → - 論文階層強化学習AI
ピクセルからの深い階層的計画
学習した世界モデルの潜在空間内で計画を行うことで、ピクセルから直接階層的行動を学習するDirectorを提案し、疎な報酬の3D迷路探索やAtariなどで優れた性能を示した。
原題: Deep Hierarchical Planning from Pixels / Danijar Hafner, Kuang-Huei Lee, Ian Fischer 他
日本語で読む → - 論文強化学習機械学習
重裾方策による連続制御ロボティクスにおける疎な報酬への対処
連続制御タスクで問題となる疎な報酬に対処するため、重裾型の確率的方策勾配アルゴリズム(HT-PSG)を提案し、専門家のデモンストレーションなしで安定した探索を実現してベンチマークタスクでの性能とサンプル効率を向上させた。
原題: Dealing with Sparse Rewards in Continuous Control Robotics via Heavy-Tailed Policies / Souradip Chakraborty, Amrit Singh Bedi, Alec Koppel 他
日本語で読む → - 論文UAV/敵対的攻撃/深層強化学習機械学習
説明可能な深層強化学習に基づくUAV誘導・計画のための堅牢な敵対的攻撃検出
UAVの誘導・計画に用いる深層強化学習モデルを敵対的攻撃から守るため、説明可能性を活用した攻撃検出器を提案し、シミュレーションで有効性を検証した。
原題: Robust Adversarial Attacks Detection based on Explainable Deep Reinforcement Learning For UAV Guidance and Planning / Thomas Hickling, Nabil Aouf, Phillippa Spencer
日本語で読む → - 論文マルチエージェント強化学習cs.MA
敵対者モデリングを伴う階層型強化学習による分散マルチエージェント協調
マルチエージェント協調を高レベル意思決定と低レベル個別制御に階層分解し、相手エージェントの政策をモデル化するネットワークを組み合わせて学習効率を高める手法を提案し、車線変更協調で有効性を示した。
原題: Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation / Zhixuan Liang, Jiannong Cao, Shan Jiang 他
日本語で読む → - 論文モデルベース強化学習機械学習
モデルベース強化学習における教師なしダイナミクス汎化のための関係的介入アプローチ
環境ごとの潜在情報から冗長な情報を減らし、未知のダイナミクスを持つ環境へのゼロショット汎化を改善する手法を提案した論文。
原題: A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning / Jixian Guo, Mingming Gong, Dacheng Tao
日本語で読む → - 論文強化学習機械学習
検出とノイズ除去による深層強化学習の観測攻撃への防御
連続制御タスクにおける観測空間への敵対的攻撃に対し、攻撃を検出してノイズ除去する防御手法を提案し、攻撃下でのデータ収集を不要にした。
原題: Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising / Zikang Xiong, Joe Eappen, He Zhu 他
日本語で読む → - 論文強化学習AI
後継表現による離散状態行動抽象化
後継表現と最大エントロピー正則化を用いて環境の疎な離散抽象を自動学習し、時間的に拡張された行動(オプション)を生成する手法を提案した論文。
原題: Discrete State-Action Abstraction via the Successor Representation / Amnon Attali, Pedro Cisneros-Velarde, Marco Morales 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
視覚制御のためのマスク付きワールドモデル
視覚表現学習とダイナミクス学習を分離し、マスク付き畳み込み特徴とViTで再構成するオートエンコーダと潜在ダイナミクスモデルを組み合わせた視覚モデルベース強化学習フレームワークを提案。Meta-worldとRLBenchの多様な視覚ロボットタスクで最先端性能を達成。
原題: Masked World Models for Visual Control / Younggyo Seo, Danijar Hafner, Hao Liu 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のためのブートストラップTransformer
オフライン強化学習を系列生成問題として捉え、学習済みモデルで自己生成した疑似データを活用してTransformerの訓練を強化する手法を提案した。
原題: Bootstrapped Transformer for Offline Reinforcement Learning / Kerong Wang, Hanye Zhao, Xufang Luo 他
日本語で読む → - 論文マルチロボット強化学習cs.MA
マルチエージェントからマルチロボットへ:マルチロボット強化学習のためのスケーラブルな訓練・評価プラットフォーム
マルチロボット強化学習のためのシミュレーション環境と実機システムを統合したSMARTプラットフォームを提案し、協調車線変更のケーススタディを通じてその実用性を示した。
原題: From Multi-agent to Multi-robot: A Scalable Training and Evaluation Platform for Multi-robot Reinforcement Learning / Zhiuxan Liang, Jiannong Cao, Shan Jiang 他
日本語で読む → - 論文強化学習機械学習
選好誘導型確率的探索によるサンプル効率の高い深層強化学習
DQNに選好ブランチを追加し、Q値の分布に沿った行動選択確率を学習することで、バイアスを導入せずに効率的な探索を実現する手法を提案した論文。
原題: Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration / Wenhui Huang, Cong Zhang, Jingda Wu 他
日本語で読む → - 論文強化学習機械学習
AnyMorph: エージェント形態を推論して転移可能な方策を学習
強化学習において、エージェントの形態記述を事前に与えずに、多様な形態のエージェントで訓練した方策を新しい形態のエージェントにゼロショット転移できる手法を提案。
原題: AnyMorph: Learning Transferable Polices By Inferring Agent Morphology / Brandon Trabucco, Mariano Phielipp, Glen Berseth
日本語で読む → - 論文強化学習/安全制約ロボティクス
シナリオベースプログラミングによるロボティクス向け制約付き強化学習
シナリオベースプログラミングでドメイン知識を組み込み、安全制約を守りながら強化学習エージェントを訓練する手法を提案し、地図なしナビゲーションで安全性と性能の向上を実証した。
原題: Constrained Reinforcement Learning for Robotics via Scenario-Based Programming / Davide Corsi, Raz Yerushalmi, Guy Amir 他
日本語で読む → - 論文強化学習機械学習
ランダムウォークで目標を発見・到達:教師なしで多様なスキルを学ぶ
外部報酬やドメイン知識なしに、ランダムウォークで到達可能性ネットワークを訓練し、目標記憶を用いて目標条件付き方策を学習する手法を提案。連続制御ナビゲーションとロボットマニピュレーションに適用。
原題: Walk the Random Walk: Learning to Discover and Reach Goals Without Supervision / Lina Mezghani, Sainbayar Sukhbaatar, Piotr Bojanowski 他
日本語で読む → - 論文強化学習基盤機械学習
EnvPool: 強化学習環境の高速並列実行エンジン
強化学習のボトルネックである環境シミュレーションを並列化し、Atariで毎秒100万フレーム、MuJoCoで毎秒300万フレームを達成する高速実行エンジンを提案。
原題: EnvPool: A Highly Parallel Reinforcement Learning Environment Execution Engine / Jiayi Weng, Min Lin, Shengyi Huang 他
日本語で読む → - 論文強化学習機械学習
自己教師あり学習は本当にピクセルからの強化学習を改善するのか?
ピクセルベースのオンライン強化学習において、自己教師あり学習(SSL)が画像拡張のみのベースラインを有意に上回るか検証し、既存のSSLとRLの同時最適化フレームワークの限界を明らかにした。
原題: Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels? / Xiang Li, Jinghuan Shang, Srijan Das 他
日本語で読む → - 論文強化学習/筋骨格系ロボティクス
DEP-RL: 過剰駆動・筋骨格系の強化学習における身体性に基づく探索
過剰駆動な筋骨格系の強化学習では探索が非効率という問題に対し、自己組織化由来の差分外在可塑性(DEP)を組み込み、到達・歩行タスクを高効率かつ頑健に学習できるようにした。
原題: DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems / Pierre Schumacher, Daniel Häufle, Dieter Büchler 他
日本語で読む → - 論文安全強化学習機械学習
SafeRL-Kit:安全な自動運転のための効率的な強化学習手法の評価
自動運転向けの安全強化学習手法を評価するベンチマーク「SafeRL-Kit」を公開し、既存手法と新提案のExact Penalty Optimizationを比較評価した。
原題: SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving / Linrui Zhang, Qin Zhang, Li Shen 他
日本語で読む → - 論文メタ強化学習ロボティクス
社会的ロボティクスに向けた変分メタ強化学習
報酬関数を変分表現で素早く推定し、新しい環境に適応するメタ強化学習手法を提案。表現崩壊を緩和するRBF層も導入した。
原題: Variational Meta Reinforcement Learning for Social Robotics / Anand Ballou, Xavier Alameda-Pineda, Chris Reinke
日本語で読む → - 論文強化学習機械学習
組合せ的に困難な長期ホライズン深層強化学習タスクへの挑戦
組合せ最適化に着想を得たロボティクスタスク群を提案し、標準的な強化学習が割引率により長期的効果を見落とし、汎用階層型RLも抽象知識なしでは苦戦することを示した。
原題: Challenges to Solving Combinatorially Hard Long-Horizon Deep RL Tasks / Andrew C. Li, Pashootan Vaezipoor, Rodrigo Toro Icarte 他
日本語で読む → - 論文逆強化学習機械学習
変分逆強化学習によるマルチタスク転移可能な報酬の学習
複数タスクの未ラベル専門家デモから、状況依存の相互情報量を変分下界で最適化し、転移可能な報酬関数と方策を同時学習する手法を提案。
原題: Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning / Se-Wook Yoo, Seung-Woo Seo
日本語で読む → - 論文強化学習AI
本質的に動機づけられたオプション学習:最近の手法の比較研究
強化学習におけるオプション枠組みを、報酬なしで最適化できるempowerment概念に基づいて拡張した最近の手法群を、元来のempowerment原理の観点から比較検討した研究。
原題: Intrinsically motivated option learning: a comparative study of recent methods / Djordje Božić, Predrag Tadić, Mladen Nikolić
日本語で読む → - 論文メタ強化学習機械学習
ファインチューニングとメタ強化学習の有効性比較
視覚ベースのベンチマークで、メタ強化学習とマルチタスク事前学習+ファインチューニングを比較し、後者が同等以上に機能することを示した。
原題: On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning / Zhao Mandi, Pieter Abbeel, Stephen James
日本語で読む → - 論文制約付き強化学習機械学習
到達可能性に基づく制約付き強化学習
到達可能性解析を用いて安全な状態集合(可到達集合)を自己整合的に特徴づけ、それを制約として組み込む制約付き強化学習手法を提案し、最大の可到達集合を保証しつつ局所最適解への収束を証明した。
原題: Reachability Constrained Reinforcement Learning / Dongjie Yu, Haitong Ma, Shengbo Eben Li 他
日本語で読む → - 論文強化学習/経験リプレイ機械学習
近傍Mixup経験リプレイ:連続制御タスクのサンプル効率を高める局所的凸補間
状態行動空間で近傍の遷移同士をMixup補間するリプレイバッファNMERを提案し、TD3で平均94%、SACで29%のサンプル効率改善を達成した。
原題: Neighborhood Mixup Experience Replay: Local Convex Interpolation for Improved Sample Efficiency in Continuous Control Tasks / Ryan Sander, Wilko Schwarting, Tim Seyde 他
日本語で読む → - 論文強化学習環境機械学習
DeepSim: ROSとGazebo向け強化学習環境構築ツールキット
ROSとGazebo上で強化学習用のカスタムタスク環境を簡単に構築できるPythonベースのツールキットを提案した論文。
原題: DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo / Woong Gyu La, Lingjie Kong, Sunil Muralidhara 他
日本語で読む → - 論文非エピソード強化学習機械学習
状態分布マッチングによる非エピソード強化学習
デモンストレーションの状態分布に合わせて後退方策を訓練し、環境リセットを学習する非エピソード強化学習手法MEDALを提案。難しいタスクで40%の性能向上を達成。
原題: A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning / Archit Sharma, Rehaan Ahmad, Chelsea Finn
日本語で読む → - 論文自動運転レース/強化学習ロボティクス
TC-Driver: 軌道条件付き強化学習による堅牢な自動運転レース制御
従来の軌道計画器が生成した軌道を条件として強化学習エージェントを訓練し、タイヤモデルの誤差に頑健な自動運転レース制御を実現した。MPCよりクラッシュ率が低く、推論速度も約40倍高速。
原題: TC-Driver: Trajectory Conditioned Driving for Robust Autonomous Racing -- A Reinforcement Learning Approach / Edoardo Ghignone, Nicolas Baumann, Mike Boss 他
日本語で読む → - 論文強化学習/誘導制御ロボティクス
強化学習メタラーニングによるミサイル誘導の視線曲率制御
強化学習メタラーニングで視線ベクトルのバイアスを最適化し、目標加速度の推定なしに機動目標への誘導精度を向上させる手法を提案した論文。
原題: Line of Sight Curvature for Missile Guidance using Reinforcement Meta-Learning / Brian Gaudet, Roberto Furfaro
日本語で読む →
PR・アフィリエイト広告
