論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2023/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習AI
関係的オブジェクト中心アクター・クリティック
オブジェクト中心の世界モデルをクリティックに組み込んだ強化学習手法を提案し、物体数が多い複雑なタスクで既存手法を上回る性能を示した。
原題: Relational Object-Centric Actor-Critic / Leonid Ugadiarov, Vitaliy Vorobyov, Aleksandr I. Panov
日本語で読む → - 論文オフライン強化学習AI
合成データによる事前学習がオフライン強化学習を改善する
言語コーパスでなくても、単純な合成データや1ステップマルコフ連鎖で生成したデータによる短時間の事前学習が、Decision TransformerやCQLのオフライン強化学習性能を向上させることを示した。
原題: Pre-training with Synthetic Data Helps Offline Reinforcement Learning / Zecheng Wang, Che Wang, Zixuan Dong 他
日本語で読む → - 論文強化学習機械学習
スキルの教師なし発見のための変分カリキュラム強化学習
相互情報量最大化に基づく教師なしスキル発見をカリキュラム学習として再定式化し、価値の不確実性を利用した新しい手法VUVCを提案。複雑なナビゲーションとロボット操作タスクでサンプル効率と状態カバレッジを改善し、実機ロボットのゼロショットナビゲーションにも成功。
原題: Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills / Seongun Kim, Kyowoon Lee, Jaesik Choi
日本語で読む → - 論文教師なし強化学習機械学習
METRA: 距離認識抽象化によるスケーラブルな教師なし強化学習
状態空間全体を直接カバーする代わりに、時間距離で結ばれたコンパクトな潜在空間を移動する多様な行動を学習し、高次元環境でもスケールする教師なし強化学習手法を提案。
原題: METRA: Scalable Unsupervised RL with Metric-Aware Abstraction / Seohong Park, Oleh Rybkin, Sergey Levine
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習における説明責任:事例コーパスによる意思決定の説明
オフラインデータを「決定コーパス」として活用し、選択した事例サブセットに基づいて説明可能な制御を行うAOCを提案し、医療分野での有効性を示した。
原題: Accountability in Offline Reinforcement Learning: Explaining Decisions with a Corpus of Examples / Hao Sun, Alihan Hüyük, Daniel Jarrett 他
日本語で読む → - 論文手術ロボット/強化学習/sim2realロボティクス
Surgical Gym:手術ロボットの強化学習向けGPUベース高性能プラットフォーム
手術ロボットの強化学習において、物理シミュレーションと学習の両方をGPU上で実行することで、従来の手術学習プラットフォームより100〜5000倍高速な学習を実現するオープンソース基盤を提案した。
原題: Surgical Gym: A high-performance GPU-based platform for reinforcement learning with surgical robots / Samuel Schmidgall, Axel Krieger, Jason Eshraghian
日本語で読む → - 論文強化学習機械学習
非同期な人間フィードバックを用いた自律ロボット強化学習
遠隔ユーザーからの時折の非同期フィードバックを活用し、リセット不要で実世界環境においてロボットが継続的に自律学習するシステムGEARを提案した。
原題: Autonomous Robotic Reinforcement Learning with Asynchronous Human Feedback / Max Balsells, Marcel Torne, Zihan Wang 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習と模倣学習のためのガイド付きデータ拡張
人間が「タスク進捗」を判定して拡張候補を選別するガイド付きデータ拡張(GuDA)を提案し、少数の初期データからオフラインRL・模倣学習で有効な方策を学習できることをロボットサッカーやD4RL等で示した。
原題: Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning / Nicholas E. Corrado, Yuxiao Qu, John U. Balis 他
日本語で読む → - 論文モデルベース強化学習機械学習
連続時間モデルベース強化学習における効率的な探索
連続時間ダイナミクスを常微分方程式で表現し、ガウス過程で不確実性を捉えたモデルベース強化学習を提案。測定選択戦略の重要性を示し、適応的な戦略で少ないサンプルで効率的な探索を実現。
原題: Efficient Exploration in Continuous-time Model-based Reinforcement Learning / Lenart Treven, Jonas Hübotter, Bhavya Sukhija 他
日本語で読む → - 論文強化学習ライブラリロボティクス
RL-X: RoboCup向け深層強化学習ライブラリ
JAXベースで高速な深層強化学習ライブラリRL-Xを開発し、RoboCupサッカーシミュレーション3Dリーグや標準ベンチマークで既存手法より最大4.5倍の高速化を実現した。
原題: RL-X: A Deep Reinforcement Learning Library (not only) for RoboCup / Nico Bohlinger, Klaus Dorer
日本語で読む → - 論文安全強化学習機械学習
微分可能凸計画による単一レベル分布安全強化学習
ワッサースタイン距離で測る分布シフト下での安全性を保証する強化学習フレームワークを提案し、二段階問題を微分可能凸計画で単一レベルに変換して効率的に解く。
原題: Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming / Alaa Eddine Chriat, Chuangchuang Sun
日本語で読む → - 論文宇宙機制御/強化学習ロボティクス
RANS: 強化学習ベースの自律航行宇宙機のための高度並列シミュレータ
NVIDIA Isaac Gymを活用し、数千機の宇宙機を並列シミュレーションして強化学習で位置・姿勢・速度制御などのマヌーバタスクを学習できるオープンソースライブラリを開発した。
原題: RANS: Highly-Parallelised Simulator for Reinforcement Learning based Autonomous Navigating Spacecrafts / Matteo El-Hariry, Antoine Richard, Miguel Olivares-Mendez
日本語で読む → - 論文強化学習探索機械学習
ELDEN: 局所的依存関係に基づく探索
エージェントと物体間の局所的な依存関係の不確かさを内在的報酬として用い、複雑な連鎖依存を持つ環境での効率的な探索を実現する手法を提案。
原題: ELDEN: Exploration via Local Dependencies / Jiaheng Hu, Zizhao Wang, Peter Stone 他
日本語で読む → - 論文模倣学習/強化学習ロボティクス
キーポイント統合Soft Actor-Criticガウス混合モデルによるロボットスキルの汎化
ロボットが学習したスキルを未知環境に適応させるため、模倣と強化学習を統合し、学習したキーポイントでシーン内の参照を予測するKIS-GMMを提案。シミュレーションと実環境でゼロショット汎化と効率的な適応を実現。
原題: Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models / Iman Nematollahi, Kirill Yankov, Wolfram Burgard 他
日本語で読む → - 論文強化学習/搬送制御/sim2real機械学習
ガラス搬送ロボットの強化学習によるフロー制御システム設計:物理シミュレーションに基づくアプローチ
ディスプレイ製造のガラス搬送ロボットを対象に、物理シミュレーション環境を構築し、強化学習で搬送スケジューリングを最適化する手法を提案し、実機ロボットで有効性を検証した。
原題: Reinforcement Learning of Display Transfer Robots in Glass Flow Control Systems: A Physical Simulation-Based Approach / Hwajong Lee, Chan Kim, Seong-Woo Kim
日本語で読む → - 論文オフライン強化学習機械学習
潜在拡散モデルによる効率的な計画
潜在行動空間での拡散モデルを用いた計画手法を提案し、オフライン強化学習における時間的抽象化と効率的な計画を実現した。
原題: Efficient Planning with Latent Diffusion / Wenhao Li
日本語で読む → - 論文強化学習機械学習
強化学習のための対照的初期状態バッファ
過去の経験から有益な状態を選んでエージェントの初期状態とし、探索を効率化する手法を提案。四足歩行とドローンレースで性能と収束速度を改善。
原題: Contrastive Initial State Buffer for Reinforcement Learning / Nico Messikommer, Yunlong Song, Davide Scaramuzza
日本語で読む → - 論文強化学習機械学習
不完全な対称性に対処する:対称性学習アクター・クリティック拡張
強化学習において、完全でない対称性記述を学習中に適応させるAdaptive Symmetry Learning (ASL)を提案し、四足アリの移動タスクで有効性を示した。
原題: Addressing imperfect symmetry: A novel symmetry-learning actor-critic extension / Miguel Abreu, Luis Paulo Reis, Nuno Lau
日本語で読む → - 論文強化学習機械学習
最大拡散強化学習
エルゴード過程の統計力学を利用して経験の相関を除去し、1回のタスク試行で学習を可能にする強化学習手法を提案した論文。
原題: Maximum diffusion reinforcement learning / Thomas A. Berrueta, Allison Pinosky, Todd D. Murphey
日本語で読む → - 論文モデルベース強化学習機械学習
不確実性に注意:リスク認識と能動的探索を備えたモデルベース強化学習
確率的な安全制約を考慮し、アンサンブルニューラルネットワークの認識的不確実性と偶発的不確実性を分離して楽観性と悲観性のバランスを取る、モデルベース強化学習の手法を提案。
原題: Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning / Marin Vlastelica, Sebastian Blaes, Cristina Pineri 他
日本語で読む → - 論文強化学習/報酬設計ロボティクス
自己洗練型大規模言語モデルによるロボティクス深層強化学習のための報酬関数自動設計
大規模言語モデルが自然言語入力から初期報酬関数を生成し、その性能評価をフィードバックして自己洗練させることで、手設計に匹敵・凌駕する報酬関数を自動設計するフレームワークを提案。
原題: Self-Refined Large Language Model as Automated Reward Function Designer for Deep Reinforcement Learning in Robotics / Jiayang Song, Zhehua Zhou, Jiawei Liu 他
日本語で読む → - 論文制御/強化学習ロボティクス
タスク指向Koopman制御と対照エンコーダによる高次元非線形システムの操作
強化学習と対照エンコーダを組み合わせ、Koopman潜在表現・演算子・線形制御器を同時学習することで、ピクセル入力やLiDAR観測を伴う高次元複雑系のタスク指向制御を実現した。
原題: Task-Oriented Koopman-Based Control with Contrastive Encoder / Xubo Lyu, Hanyang Hu, Seth Siriya 他
日本語で読む → - 論文モデルベース強化学習機械学習
RePo: 事後予測可能性の正則化による堅牢なモデルベース強化学習
視覚モデルベース強化学習において、観測から潜在表現への情報流を制約することで背景の乱れに強い表現を学習し、さらに報酬なしのアライメントでテスト時適応を可能にした手法を提案。
原題: RePo: Resilient Model-Based Reinforcement Learning by Regularizing Posterior Predictability / Chuning Zhu, Max Simchowitz, Siri Gadipudi 他
日本語で読む → - 論文強化学習/ドローン追跡ロボティクス
侵入ドローンを追跡せよ:強化学習による追跡アプローチ
強化学習とコンピュータビジョンを組み合わせ、追跡ドローンが侵入ドローンを識別・追跡する制御方策を学習する手法を提案した。
原題: Chasing the Intruder: A Reinforcement Learning Approach for Tracking Intruder Drones / Shivam Kainth, Subham Sahoo, Rajtilak Pal 他
日本語で読む → - 論文強化学習/スキル発見機械学習
ComSD: 教師なしスキル発見における行動品質と多様性のバランス
教師なし強化学習で多様かつ探索的なスキルを獲得するため、粒子ベースの探索報酬と対照的多様性報酬を動的に重み付けする新手法ComSDを提案した論文。
原題: ComSD: Balancing Behavioral Quality and Diversity in Unsupervised Skill Discovery / Xin Liu, Yaran Chen, Dongbin Zhao
日本語で読む → - 論文オフライン強化学習ロボティクス
インターネット動画からの価値関数事前学習によるロボットオフライン強化学習
人間の動画データセット上で時間差分学習により価値関数を事前学習し、ロボットのオフライン強化学習に活用する手法V-PTRを提案。実機WidowXでのマニピュレーションタスクで従来手法を大きく上回る性能を示した。
原題: Robotic Offline RL from Internet Videos via Value-Function Pre-Training / Chethan Bhateja, Derek Guo, Dibya Ghosh 他
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習の汎化のための同変データ拡張
状態空間の並進変換に対する同変性を利用してデータセットを拡張し、オフライン強化学習エージェントの分布外目標への汎化性能を向上させる手法を提案した。
原題: Equivariant Data Augmentation for Generalization in Offline Reinforcement Learning / Cristina Pinneri, Sarah Bechtle, Markus Wulfmeier 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
AutoDRIVEエコシステムを用いた協調・競合自律車両のマルチエージェント深層強化学習
AutoDRIVEエコシステム上でNigelとF1TENTHのデジタルツインを構築し、交差点通過の協調問題と対戦型自動運転レースの競合問題をマルチエージェント深層強化学習で訓練・評価した。
原題: Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem / Tanmay Vilas Samak, Chinmay Vilas Samak, Venkat Krovi
日本語で読む → - 論文ドローン制御/強化学習ロボティクス
OmniDrones:ドローン制御の強化学習向け効率的で柔軟なプラットフォーム
Nvidia Omniverse Isaac Sim上に構築された、ドローン制御の強化学習用のオープンソースシミュレーションプラットフォームを提案。GPU並列シミュレーションやベンチマークタスク、RLベースラインを提供する。
原題: OmniDrones: An Efficient and Flexible Platform for Reinforcement Learning in Drone Control / Botian Xu, Feng Gao, Chao Yu 他
日本語で読む → - 論文強化学習機械学習
スキルとしてのサブワード:疎報酬強化学習のためのトークン化
連続行動空間をクラスタリングで離散化し、自然言語処理のトークン化技術を用いて時間的に拡張されたスキルを生成することで、疎報酬強化学習の探索を効率化する手法を提案した。
原題: Subwords as Skills: Tokenization for Sparse-Reward Reinforcement Learning / David Yunis, Justin Jung, Falcon Dai 他
日本語で読む →
PR・アフィリエイト広告
