論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
評価ベース強化学習
サンプルペアの相対比較ではなく、個々の軌跡に対する人間の評価値を用いて報酬を学習する新しい強化学習手法を提案した。
原題: Rating-based Reinforcement Learning / Devin White, Mingkang Wu, Ellen Novoseller 他
日本語で読む → - 論文オフライン強化学習機械学習
HIQL: 潜在状態を行動として用いるオフライン目標条件付き強化学習
オフラインの目標条件付き強化学習において、状態を行動として扱う高レベル方策とサブゴール到達の低レベル方策に階層分解することで、長距離タスクを安定して解く手法を提案した。
原題: HIQL: Offline Goal-Conditioned RL with Latent States as Actions / Seohong Park, Dibya Ghosh, Benjamin Eysenbach 他
日本語で読む → - 論文オフライン強化学習機械学習
対照的な例ベース制御
高リターン状態の例から報酬関数を学習する代わりに、マルチステップ遷移の暗黙モデルを学習し、例ベース制御のQ値を表現するオフライン手法を提案。
原題: Contrastive Example-Based Control / Kyle Hatch, Benjamin Eysenbach, Rafael Rafailov 他
日本語で読む → - 論文強化学習AI
時間窓付き確率的時空間制約下での強化学習
時間窓を含む複雑な時空間制約を満たしながら強化学習を行うため、有界時相論理制約をオートマトンに変換し、学習中も制約充足確率を保証する手法を提案した。
原題: Reinforcement Learning Under Probabilistic Spatio-Temporal Constraints with Time Windows / Xiaoshan Lin, Abbasali Koochakzadeh, Yasin Yazicioglu 他
日本語で読む → - 論文ロバスト強化学習機械学習
関数近似を用いたロバスト強化学習のための自然アクター・クリティック
シミュレータと実環境のギャップに頑健な方策を学ぶため、二重サンプリングと積分確率指標に基づく不確実性集合を導入し、関数近似を用いたロバスト自然アクター・クリティック法を提案した。
原題: Natural Actor-Critic for Robust Reinforcement Learning with Function Approximation / Ruida Zhou, Tao Liu, Min Cheng 他
日本語で読む → - 論文強化学習ロボティクス
スコアからの適応学習による対話型強化学習のフィードバック効率向上
人間が与えるペア比較ではなくスコアを活用し、不完全なスコアにも適応する学習方式で、少ないフィードバックでロボットの移動・操作タスクを効率的に学習する手法を提案した。
原題: Boosting Feedback Efficiency of Interactive Reinforcement Learning by Adaptive Learning from Scores / Shukai Liu, Chenming Wu, Ying Li 他
日本語で読む → - 論文強化学習機械学習
Wasserstein・Sinkhorn信頼領域による方策最適化の収束保証
KLダイバージェンスの代わりにWasserstein距離とSinkhorn距離を信頼領域に用いた方策最適化を提案し、大域的最適性への収束を理論的に示すとともに、ロボット歩行や連続制御タスクで性能向上を実証した。
原題: Provably Convergent Policy Optimization via Metric-aware Trust Region Methods / Jun Song, Niao He, Lijun Ding 他
日本語で読む → - 論文オフライン強化学習機械学習
データセット制約による方策正則化を用いたオフライン強化学習
オフライン強化学習において、方策をデータセット内の最近傍状態行動ペアに制約するPRDCを提案し、従来の分布・サポート制約より柔軟で性能を向上させた。
原題: Policy Regularization with Dataset Constraint for Offline Reinforcement Learning / Yuhang Ran, Yi-Chen Li, Fuxiang Zhang 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のための緩やかな制約付き評価方策
オフライン強化学習において、価値学習用の方策より制約を緩めた評価用方策を提案し、既存手法に組み込むことで性能を向上させた。
原題: Mildly Constrained Evaluation Policy for Offline Reinforcement Learning / Linjie Xu, Zhengyao Jiang, Jinyu Wang 他
日本語で読む → - 論文強化学習ライブラリ機械学習
RLtools: 連続制御のための高速でポータブルな深層強化学習ライブラリ
依存関係のないヘッダオンリーなC++製深層強化学習ライブラリを提案し、シミュレータとの密結合で最大76倍高速化、マイコン上での直接学習(TinyRL)を初めて実現した。
原題: RLtools: A Fast, Portable Deep Reinforcement Learning Library for Continuous Control / Jonas Eschmann, Dario Albani, Giuseppe Loianno
日本語で読む → - 論文自動運転/マルチエージェント強化学習cs.MA
iPLAN: 分散型マルチエージェント強化学習による異種交通環境での意図認識型プランニング
周囲のドライバーの意図をローカル観測のみから推測し、行動インセンティブと即時インセンティブを統合して意思決定と運動計画を行う分散型MARL手法を提案し、異種高速道路シナリオで高い成功率と生存時間を達成した。
原題: iPLAN: Intent-Aware Planning in Heterogeneous Traffic via Distributed Multi-Agent Reinforcement Learning / Xiyang Wu, Rohan Chandra, Tianrui Guan 他
日本語で読む → - 論文強化学習ロボティクス
ロボットの内在的対称性を利用した幾何学的正則化による連続制御学習
ロボット構造が持つ反射・回転対称性をネットワーク構造に組み込み、オンライン・オフライン強化学習で連続制御タスクの学習効率と性能を向上させる手法を提案。
原題: Learning Continuous Control with Geometric Regularity from Robot Intrinsic Symmetry / Shengchao Yan, Baohe Zhang, Yuan Zhang 他
日本語で読む → - 論文オフライン強化学習/安全RL機械学習
オフライン安全強化学習のためのデータセットとベンチマーク
ロボット制御から自動運転まで38タスクにわたるオフライン安全強化学習のデータセット・環境ラッパー・ベースライン実装を提供し、大規模実験で性能を比較評価したベンチマークスイートを構築した。
原題: Datasets and Benchmarks for Offline Safe Reinforcement Learning / Zuxin Liu, Zijian Guo, Haohong Lin 他
日本語で読む → - 論文共有自律/強化学習/UAVロボティクス
初心者から熟練者へ:UAVマルチタスクミッションにおけるパイロットと通信するRLベースの共有自律システム
UAVのマルチタスクミッションにおいて、強化学習を用いた共有自律システムと補助情報表示により、未訓練のパイロットを支援し、タスク成功率を大幅に向上させた研究。
原題: From Novice to Skilled: RL-based Shared Autonomy Communicating with Pilots in UAV Multi-Task Missions / Kal Backman, Dana Kulić, Hoam Chung
日本語で読む → - 論文強化学習/ロボット制御ロボティクス
クローラロボットのフリッパ制御のための深層強化学習
複雑な地形でのクローラロボットのフリッパを自律制御するため、深層強化学習ネットワークAT-D3QNを提案し、シミュレーションで手動操作を上回る性能を示した。
原題: Deep Reinforcement Learning for Flipper Control of Tracked Robots / Hainan Pan, Bailiang Chen, Kaihong Huang 他
日本語で読む → - 論文逆強化学習ロボティクス
転移可能な報酬分解による逆制約学習と汎化
デモンストレーションから制約を推定する逆制約学習において、タスク指向報酬とタスク非依存制約を同時に推論するTCLを提案し、新規環境での汎化性能を向上させた。
原題: Inverse Constraint Learning and Generalization by Transferable Reward Decomposition / Jaehwi Jang, Minjae Song, Daehyung Park
日本語で読む → - 論文強化学習機械学習
観測シフトを超えた強化学習の汎化
双模倣指標を拡張し、文脈依存の観測シフトに不変な表現空間を学習することで、テスト時の観測変化や未見環境への汎化を実現する手法を提案。
原題: Generalization Across Observation Shifts in Reinforcement Learning / Anuj Mahajan, Amy Zhang
日本語で読む → - 論文モデルベース強化学習機械学習
マルチタスクオフライン事前学習を用いたモデルベース強化学習
オフラインデータから世界モデルを介してタスク関連度を測り、ダイナミクスと方策を新規タスクへ適応的に転移するモデルベース強化学習手法を提案。
原題: Model-Based Reinforcement Learning with Multi-Task Offline Pretraining / Minting Pan, Yitao Zheng, Yunbo Wang 他
日本語で読む → - 論文プライバシー/強化学習ロボティクス
家庭用ロボットの強化学習におけるプライバシーリスク
強化学習で訓練された家庭用ロボットの勾配情報から、勾配反転攻撃によって状態・行動・監督信号を復元できることを示した研究。
原題: Privacy Risks in Reinforcement Learning for Household Robots / Miao Li, Wenhao Ding, Ding Zhao
日本語で読む → - 論文強化学習/歩行ロボティクス
複雑なロボットシステムのための分散型運動スキル学習
生物の四肢独立制御に着想を得て、運動グループを自動発見し分散制御ポリシーを学習するDEMOSを提案。四足・人型ロボットで局所故障に強く、新タスクへの転移も可能。
原題: Decentralized Motor Skill Learning for Complex Robotic Systems / Yanjiang Guo, Zheyuan Jiang, Yen-Jen Wang 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
自動運転のための深層強化学習の包括的な訓練と評価:多様な模擬運転操作において
高速道路シミュレータ上でDQNとTRPOを比較し、報酬設計を工夫して車線維持・効率・安全・快適性を評価した。さらに複合道路環境ComplexRoadsを開発し、多様な運転操作に対応する統一モデルを訓練した。
原題: Comprehensive Training and Evaluation on Deep Reinforcement Learning for Automated Driving in Various Simulated Driving Maneuvers / Yongqi Dong, Tobias Datema, Vincent Wassenaar 他
日本語で読む → - 論文オフライン強化学習/計画ロボティクス
オフラインスキルグラフ(OSG):オフライン強化学習スキルを用いた学習と計画のフレームワーク
過去に収集したデータからスキルを学習し、それらを組み合わせてロボットアームの長期的な複雑タスクを計画・実行するフレームワークを提案した論文。
原題: Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills / Ben-ya Halevy, Yehudit Aperstein, Dotan Di Castro
日本語で読む → - 論文強化学習/運動プリミティブ機械学習
MP3: 運動プリミティブに基づく再計画ポリシー
運動プリミティブを深層強化学習に統合し、スパースで非マルコフ的な報酬から学習しつつ、実行中の環境変化に適応できる再計画戦略を導入した手法を提案する。
原題: MP3: Movement Primitive-Based (Re-)Planning Policy / Fabian Otto, Hongyi Zhou, Onur Celik 他
日本語で読む → - 論文オフライン強化学習機械学習
勾配で不確実性に挑む:拡散スコアマッチングによるオフライン強化学習
データへの平滑化距離を不確実性指標として用い、その勾配をスコアマッチングで直接学習することで、高次元オフライン強化学習における一次法プランニングを可能にするSGPを提案した論文。
原題: Fighting Uncertainty with Gradients: Offline Reinforcement Learning via Diffusion Score Matching / H. J. Terry Suh, Glen Chou, Hongkai Dai 他
日本語で読む → - 論文交通制御/強化学習AI
ChatGPTはITSを実現できるか?強化学習による混合交通制御の事例
初心者がChatGPTを使って複雑な混合交通制御問題を解けるかを70人規模のユーザー研究で検証し、交差点とボトルネックでは成功率が向上するが全シナリオで一貫した改善は見られなかった。
原題: Can ChatGPT Enable ITS? The Case of Mixed Traffic Control via Reinforcement Learning / Michael Villarreal, Bibek Poudel, Weizi Li
日本語で読む → - 論文ロバスト強化学習機械学習
敵対的ハードによる効率的でロバストな強化学習
複数の敵対者を群として用いる「敵対的ハード」を導入し、内部最適化の困難さと過度な悲観性を緩和することで、よりロバストな強化学習方策を実現する手法を提案した。
原題: Robust Reinforcement Learning through Efficient Adversarial Herding / Juncheng Dong, Hao-Lun Hsu, Qitong Gao 他
日本語で読む → - 論文安全強化学習機械学習
リアルタイム予算制約下での安全なオフライン強化学習
オフライン設定で動的に与えられる安全予算にリアルタイム対応するため、軌道分布の拡散モデル計画に基づくTREBIを提案し、理論的保証と実応用での有効性を示した。
原題: Safe Offline Reinforcement Learning with Real-Time Budget Constraints / Qian Lin, Bo Tang, Zifan Wu 他
日本語で読む → - 論文階層強化学習AI
グレンジャー因果的相互作用スキル連鎖
状態因子間の相互作用を検出し、少数のタスク非依存スキルを連鎖させて制御する階層強化学習手法COInSを提案し、ロボット押しタスクやBreakoutでサンプル効率と性能を改善した。
原題: Granger Causal Interaction Skill Chains / Caleb Chuck, Kevin Black, Aditya Arjun 他
日本語で読む → - 論文強化学習機械学習
動的システムの楽観的能動探索
未知の動的システムを能動的に探索し、複数の下流タスクをゼロショットで解けるモデルを学習するアルゴリズムOPAXを提案。
原題: Optimistic Active Exploration of Dynamical Systems / Bhavya Sukhija, Lenart Treven, Cansu Sancaktar 他
日本語で読む → - 論文強化学習機械学習
ENOTO: Qアンサンブルによるオフラインからオンラインへの強化学習の改善
Qネットワークを複数用意するアンサンブル手法で、オフライン事前学習からオンライン微調整への移行時の性能低下を防ぎ、学習効率と最終性能を高めるフレームワークを提案。
原題: ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles / Kai Zhao, Jianye Hao, Yi Ma 他
日本語で読む →
PR・アフィリエイト広告
