論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/長期的タスクロボティクス
明示的・暗黙的サブゴール計画によるスパース報酬下の長期的タスク
人間の思考を模した明示的・暗黙的モデルでサブゴールを生成し、事後サンプリングと価値選択で品質を高める強化学習アルゴリズムを提案。シミュレーションと実世界の長期的タスクで有効性を示した。
原題: Explicit-Implicit Subgoal Planning for Long-Horizon Tasks with Sparse Reward / Fangyuan Wang, Anqing Duan, Peng Zhou 他
日本語で読む → - 論文強化学習機械学習
PDiT: 深層強化学習のための知覚と意思決定のトランスフォーマーを交互に配置する手法
知覚用と意思決定用の2つのTransformerを交互に配置したPDiTネットワークを提案し、画像・固有感覚・画像言語の観測下でのオンライン・オフライン強化学習において高性能と解釈可能な特徴表現を実現した。
原題: PDiT: Interleaving Perception and Decision-making Transformers for Deep Reinforcement Learning / Hangyu Mao, Rui Zhao, Ziyue Li 他
日本語で読む → - 論文強化学習ロボティクス
RoboCup向け熟練サッカーチームの設計:強化学習によるスキルセットプリミティブの探求
RoboCup 3Dサッカーシミュレーションリーグで優勝したFC Portugalのチーム開発において、新しいスキルセットプリミティブと対称拡張PPOを用いて、スプリントキックから全方位歩行、ドリブル、キック、プッシュなどのスキルを効率的に学習する手法を提案し、コードベースを公開した。
原題: Designing a skilled soccer team for RoboCup: exploring skill-set-primitives through reinforcement learning / Miguel Abreu, Luis Paulo Reis, Nuno Lau
日本語で読む → - 論文強化学習ロボティクス
想像上の行動で強化学習ポリシーを修正:予測可能なポリシーがユーザーの新規タスク遂行を可能にする方法
強化学習ロボットの一部をユーザーが遠隔操作する際、ポリシーが予期せぬ行動をとる問題を定式化し、IODAアルゴリズムでユーザーの期待に沿った行動を促す手法を提案。
原題: Modifying RL Policies with Imagined Actions: How Predictable Policies Can Enable Users to Perform Novel Tasks / Isaac Sheidlower, Reuben Aronson, Elaine Short
日本語で読む → - 論文制御/強化学習制御
MPCに着想を得た検証可能なモデルフリー制御のための強化学習
線形MPCのQPソルバに似た構造を持つパラメトリック制御器を強化学習で訓練し、MPC並みの検証可能な安定性・実行可能性を保ちつつ、計算効率とロバスト性を向上させた。
原題: MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control / Yiwen Lu, Zishuo Li, Yihan Zhou 他
日本語で読む → - 論文制御/強化学習ロボティクス
SACによるAcrobotとPendubotの振り上げ・バランス制御の解決
強化学習SACで二重振り子の振り上げ方策を学習し、LQR制御で倒立安定化を実現した。
原題: Solving the swing-up and balance task for the Acrobot and Pendubot with SAC / Chi Zhang, Akhil Sathuluri, Markus Zimmermann
日本語で読む → - 論文自動運転/強化学習機械学習
スケーリングこそが全て:JAXで高速化した強化学習による自動運転
JAXで大規模強化学習システムを構築し、実走行データを用いたシミュレータ上で自動運転ポリシーを学習。規模拡大に伴い性能が向上し、失敗率を64%削減、走行進捗を25%改善した。
原題: Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning / Moritz Harmel, Anubhav Paras, Andreas Pasternak 他
日本語で読む → - 論文強化学習機械学習
LiFT: 基盤モデルを教師とする教師なし強化学習
大規模言語モデルが環境に基づくタスク指示を生成し、視覚言語モデルが報酬を与えることで、人間のフィードバックなしに意味のあるスキルを学習する枠組みを提案。MineDojo環境で有効性を示す。
原題: LiFT: Unsupervised Reinforcement Learning with Foundation Models as Teachers / Taewook Nam, Juyong Lee, Jesse Zhang 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のためのサポート付き信頼領域最適化
行動方策のサポート内に方策を制約する信頼領域最適化手法STRを提案し、理論的な方策改善保証とMuJoCo・AntMazeでの高性能を示した。
原題: Supported Trust Region Optimization for Offline Reinforcement Learning / Yixiu Mao, Hongchang Zhang, Chen Chen 他
日本語で読む → - 論文強化学習機械学習
確率的状態付き方策による効率的な強化学習
状態を持つ方策を確率的な内部状態カーネルと状態なし方策に分解し、BPTTを使わずに効率的に学習する新しい勾配法を提案した論文。
原題: Time-Efficient Reinforcement Learning with Stochastic Stateful Policies / Firas Al-Hafez, Guoping Zhao, Jan Peters 他
日本語で読む → - 論文敵対的強化学習機械学習
有界合理性カリキュラムによる堅牢な敵対的強化学習
エントロピー正則化でナッシュ均衡の求解を容易にし、敵対者の合理性を徐々に高めるカリキュラム学習で堅牢な強化学習を実現する手法を提案。
原題: Robust Adversarial Reinforcement Learning via Bounded Rationality Curricula / Aryaman Reddi, Maximilian Tölle, Jan Peters 他
日本語で読む → - 論文強化学習AI
強化学習によるブラックボックスロボット制御のための知的社会的学習最適化戦略
人間の社会的学習に着想を得たISLアルゴリズムを提案し、ブラックボックスロボット制御を強化学習で最適化する。6つの連続制御ベンチマークで既存手法より優れることを示した。
原題: An Intelligent Social Learning-based Optimization Strategy for Black-box Robotic Control with Reinforcement Learning / Xubo Yang, Jian Gao, Ting Wang 他
日本語で読む → - 論文強化学習/制御ロボティクス
モデル支援強化学習によるクアッドロータ制御
強化学習にモデルベースの保守性を導入し、CrazyFlieクアッドロータの制御において外乱に対する堅牢性と解釈性を向上させる手法を提案した論文。
原題: Model-assisted Reinforcement Learning of a Quadrotor / Arshad Javeed
日本語で読む → - 論文制御/強化学習制御
先読み深層強化学習を用いた適応確率非線形モデル予測制御による自動運転車両の運動制御
深層強化学習で確率非線形モデル予測制御のロバスト化係数と不確かさ伝播ホライズンを適応的に調整し、自動運転車のレースライン追従性能と実行可能性を向上させた。
原題: Adaptive Stochastic Nonlinear Model Predictive Control with Look-ahead Deep Reinforcement Learning for Autonomous Vehicle Motion Control / Baha Zarrouki, Chenyang Wang, Johannes Betz
日本語で読む → - 論文オフライン強化学習機械学習
SMORE: オフライン目標条件付き強化学習のためのスコアモデル
オフラインデータのみを用いて多様な目標を達成するスキルを学習するため、混合分布マッチングに基づく識別器不要の手法を提案し、操作・歩行タスクで既存手法を大幅に上回る性能を示した。
原題: SMORE: Score Models for Offline Goal-Conditioned Reinforcement Learning / Harshit Sikchi, Rohan Chitnis, Ahmed Touati 他
日本語で読む → - 論文自動運転/強化学習AI
安全運転ナビゲーション: CARLAにおける深層強化学習を用いた自動運転車の訓練
CARLAシミュレータ上で、セグメンテーション・深度カメラ・衝突センサを統合したDQNにより、歩行者や他車両を避けつつ目的地まで安全に走行する自動運転モデルを訓練した。
原題: Safe Navigation: Training Autonomous Vehicles using Deep Reinforcement Learning in CARLA / Ghadi Nehme, Tejas Y. Deo
日本語で読む → - 論文強化学習機械学習
自己参照による教師なし強化学習の拡張
強化学習エージェントが過去の経験を明示的に参照できる自己参照モジュールを提案し、教師なし事前学習と微調整の枠組みで性能とサンプル効率を向上させた。
原題: Augmenting Unsupervised Reinforcement Learning with Self-Reference / Andrew Zhao, Erle Zhu, Rui Lu 他
日本語で読む → - 論文強化学習/飛行制御ロボティクス
マルチエージェント強化学習によるクアッドロータUAVの低レベル制御
クアッドロータの動力学を並進とヨーに分解し、協調する複数の強化学習エージェントで低レベル制御を学習させる手法を提案。単一エージェントより学習効率と飛行安定性が向上することを示した。
原題: Multi-Agent Reinforcement Learning for the Low-Level Control of a Quadrotor UAV / Beomyeol Yu, Taeyoung Lee
日本語で読む → - 論文マルチエージェント強化学習機械学習
経験の選択的共有でマルチエージェント強化学習を改善
各エージェントが訓練中に観測した遷移のうち関連性の高い少数の経験のみを他エージェントと共有する手法を提案し、分散型訓練を保ちつつ既存手法を上回る性能を示した。
原題: Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning / Matthias Gerstgrasser, Tom Danino, Sarah Keren
日本語で読む → - 論文強化学習ロボティクス
中枢運動系に着想を得たロボット制御のための事前学習強化学習
脳の中枢運動系にヒントを得て、外部データに頼らず多様で再利用可能な運動スキルを事前学習する強化学習手法を提案し、複数のロボットの疎報酬タスクで有効性を示した。
原題: A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control / Pei Zhang, Zhaobo Hua, Jinliang Ding
日本語で読む → - 論文強化学習機械学習
実験をまたぐリプレイ:オフポリシーRLの自然な拡張
過去の実験で得た経験データを再利用して探索と学習を効率化するRaEを提案し、歩行やマニピュレーションなど複数の制御タスクで性能と研究効率の向上を示した。
原題: Replay across Experiments: A Natural Extension of Off-Policy RL / Dhruva Tirumala, Thomas Lampe, Jose Enrique Chen 他
日本語で読む → - 論文強化学習機械学習
Uni-O4: マルチステップオンポリシー最適化によるオンライン・オフライン強化学習の統合
オンラインとオフラインの強化学習を同一のオンポリシー目的関数で統合し、追加の保守性や正則化なしにシームレスな事前学習・微調整を可能にした手法を提案。
原題: Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization / Kun Lei, Zhengmao He, Chenhao Lu 他
日本語で読む → - 論文強化学習/人間ロボットインタラクションロボティクス
人間の選好と説明を用いたシールディングによる強化学習の透明性向上
強化学習に人間の選好を組み込むシールディング機構を導入し、ロボットの行動の透明性(可読性・予測性・期待性)が向上するか、また説明との組み合わせ効果を26名の被験者実験で検証した。
原題: Increasing Transparency of Reinforcement Learning using Shielding for Human Preferences and Explanations / Georgios Angelopoulos, Luigi Mangiacapra, Alessandra Rossi 他
日本語で読む → - 論文強化学習ロボティクス
分布シフト下でのセンサーモーター制御のためのコンフォーマル政策学習
コンフォーマル分位点を入力とするスイッチングポリシーを設計し、分布シフトを統計的保証付きで検出・対応する手法を提案。自動運転シミュレーションと四足歩行ロボットの能動知覚で有効性を実証。
原題: Conformal Policy Learning for Sensorimotor Control Under Distribution Shifts / Huang Huang, Satvik Sharma, Antonio Loquercio 他
日本語で読む → - 論文強化学習/制御ロボティクス
パラメータが異なるロボットシステムに対する強化学習方策のファジィアンサンブル
異なるパラメータで独立に訓練した強化学習エージェントをファジィ統合し、クアッドロータの吊り荷追従タスクで単一方策より高精度・高ロバスト性を実現した。
原題: Fuzzy Ensembles of Reinforcement Learning Policies for Robotic Systems with Varied Parameters / Abdel Gafoor Haddad, Mohammed B. Mohiuddin, Igor Boiko 他
日本語で読む → - 論文強化学習ロボティクス
時相論理タスク仕様に対するミッション駆動型探索による深層強化学習の高速化
LTLで指定された制御目的を満たす方策を深層強化学習で学習する際、オートマトン表現と学習済み環境モデルを用いてミッション達成に寄与しそうな方向へ探索を優先させることで、学習速度を大幅に改善した。
原題: Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications / Jun Wang, Hosein Hasanbeig, Kaiyuan Tan 他
日本語で読む → - 論文強化学習ロボティクス
FRAC-Q学習:社会的ロボットのための退屈回避プロセスを備えた強化学習
社会的ロボットがユーザーを退屈させないように、忘却・ランダム化・カテゴリ化を取り入れた新しい強化学習手法FRAC-Q学習を提案し、従来のQ学習より興味を引きやすく退屈しにくいことを示した。
原題: FRAC-Q-Learning: A Reinforcement Learning with Boredom Avoidance Processes for Social Robots / Akinari Onishi
日本語で読む → - 論文強化学習ロボティクス
「いいね」から「10点満点」へ:対話型強化学習におけるスカラー評価の再考
ロボット学習における人間のスカラー評価と二値評価を比較し、スカラー評価が適切に処理されれば学習に有効であることを示し、評価のばらつきを安定化させるSTEADY手法を提案した。
原題: From "Thumbs Up" to "10 out of 10": Reconsidering Scalar Feedback in Interactive Reinforcement Learning / Hang Yu, Reuben M. Aronson, Katherine H. Allen 他
日本語で読む → - 論文強化学習機械学習
プログラムマシンポリシー:プログラム合成と状態機械を統合した長期的タスクへの取り組み
プログラム合成と状態機械を組み合わせ、多様なプログラムを状態機械のモードとして学習することで、長期的タスクを解き、未学習のより長いタスクにも汎化できる強化学習手法を提案。
原題: Program Machine Policy: Addressing Long-Horizon Tasks by Integrating Program Synthesis and State Machines / Yu-An Lin, Chen-Tao Lee, Guan-Ting Liu 他
日本語で読む → - 論文宇宙ロボティクス/強化学習ロボティクス
宇宙機の近接操作・ドッキングのための深層ベイズ強化学習
リャプノフ安定性を保証するベイズアクター・クリティック強化学習を提案し、宇宙機の近接・ドッキング制御をエアベアリング試験台で実証した。
原題: Deep Bayesian Reinforcement Learning for Spacecraft Proximity Maneuvers and Docking / Desong Du, Naiming Qi, Yanfang Liu 他
日本語で読む →
PR・アフィリエイト広告
