論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/5/24 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
リカレント強化学習の安定化のための文脈エンコーダ専用学習率
部分観測マルコフ決定過程(POMDP)向けのリカレント強化学習において、文脈エンコーダに他層より低い学習率を設定することで訓練の安定性を高める手法RESeLを提案し、18のPOMDPタスクと5つのMDPタスクで有効性を示した。
原題: Efficient Recurrent Off-Policy RL Requires a Context-Encoder-Specific Learning Rate / Fan-Ming Luo, Zuolin Tu, Zefang Huang 他
日本語で読む → - 論文オフライン強化学習機械学習
構造的な非定常性を持つデータセットからのオフライン強化学習
エピソード間で遷移・報酬関数が徐々に変化するオフラインデータセットに対し、対照予測符号化で非定常性を特定し方策学習に活かす手法を提案した。
原題: Offline Reinforcement Learning from Datasets with Structured Non-Stationarity / Johannes Ackermann, Takayuki Osa, Masashi Sugiyama
日本語で読む → - 論文オフライン強化学習機械学習
DIDI: 拡散モデル誘導によるオフライン行動生成の多様性
拡散確率モデルを事前分布として用い、ラベルなしオフラインデータから多様なスキルを学習する手法を提案。
原題: DIDI: Diffusion-Guided Diversity for Offline Behavioral Generation / Jinxin Liu, Xinghong Guo, Zifeng Zhuang 他
日本語で読む → - 論文オフライン強化学習機械学習
堅牢な方策に向けて:敵対的攻撃と防御によるオフライン強化学習の強化
オフライン強化学習の方策を敵対的攻撃と防御で強化する枠組みを提案し、D4RLベンチマークで4種の攻撃と2種の防御を評価して堅牢性向上を実証した。
原題: Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses / Thanh Nguyen, Tung M. Luu, Tri Ton 他
日本語で読む → - 論文安全強化学習ロボティクス
証明可能な安全強化学習のための暗黙的安全集合アルゴリズム
ブラックボックスシミュレータのみを用いて安全指数と安全制御則を合成し、訓練中も含めて安全性を保証するモデルフリー安全制御アルゴリズムを提案した。
原題: Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning / Weiye Zhao, Feihan Li, Changliu Liu
日本語で読む → - 論文追跡逃避/部分観測/強化学習ロボティクス
センサ制約下における車両型ロボットの追跡逃避ゲーム
センサ制約のある車両型ロボットの追跡逃避ゲームを部分観測確率ゼロ和ゲームとして定式化し、履歴情報を信念状態に符号化する学習手法を開発した。実機ロボットでも高速走行で実行可能であることを示した。
原題: Pursuit-Evasion for Car-like Robots with Sensor Constraints / Burak M. Gonultas, Volkan Isler
日本語で読む → - 論文強化学習画像認識
踊るなら音楽と共に:非ヒューマノイドのためのダンス生成フレームワーク
人間のダンス動画から光学フローと音楽の関係を報酬モデルとして学習し、強化学習によって非ヒューマノイドエージェントが音楽に合わせて踊る動作を生成するフレームワークを提案した。
原題: May the Dance be with You: Dance Generation Framework for Non-Humanoids / Hyemin Ahn
日本語で読む → - 論文強化学習機械学習
準最適データを活用したヒューマン・イン・ザ・ループ強化学習
低品質なデータに最小報酬を疑似ラベル付けして報酬モデルを事前学習し、人間のフィードバックを減らして強化学習の効率を高める手法SDPを提案。
原題: Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning / Calarina Muslimani, Matthew E. Taylor
日本語で読む → - 論文強化学習×模倣学習ロボティクス
性能に基づく動的変調でRLとILを統合する学習法とその局所計画への応用
強化学習と模倣学習の損失をエージェントの性能に応じて動的に重み付けし、学習初期は模倣を優先し徐々に強化学習へ移行することで、移動ロボットの局所計画を効率的に学習する手法を提案した。
原題: Combining RL and IL using a dynamic, performance-based modulation over learning signals and its application to local planning / Francisco Leiva, Javier Ruiz-del-Solar
日本語で読む → - 論文強化学習ロボティクス
幾何学的ファブリック:方策学習のための安全な誘導媒体
非線形幾何学に基づく人工的な二次ダイナミクス(幾何学的ファブリック)を導入し、ロボットの行動を安全に誘導する新たな行動空間を提供することで、強化学習方策の学習を容易にするフレームワークを提案。
原題: Geometric Fabrics: a Safe Guiding Medium for Policy Learning / Karl Van Wyk, Ankur Handa, Viktor Makoviychuk 他
日本語で読む → - 論文人間参加型強化学習/食事支援ロボティクス
聞くべきか聞かざるべきか:ロボット支援食事のための人間参加型文脈付きバンディット
食事支援ロボットが新しい食品に遭遇した際、ユーザーへの問い合わせ負荷を予測モデルで管理しながら、LinUCB-QGで選択的に質問し、タスク性能と負荷のバランスを取る手法を提案。
原題: To Ask or Not To Ask: Human-in-the-loop Contextual Bandits with Applications in Robot-Assisted Feeding / Rohan Banerjee, Rajat Kumar Jenamani, Sidharth Vasudev 他
日本語で読む → - 論文強化学習機械学習
方策勾配法の平滑化効果
方策勾配法が非平滑な最適化地形を平滑化する仕組みを後退熱方程式との等価性で解析し、確率性下での根本的課題と探索の影響を明らかにした。
原題: Mollification Effects of Policy Gradient Methods / Tao Wang, Sylvia Herbert, Sicun Gao
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のための適応的アドバンテージ誘導方策正則化
VAEと拡張挙動方策から高アドバンテージ行動を抽出し、OOD行動への保守性を保ちつつ方策改善を促すオフラインRL手法A2PRを提案。D4RLで最先端性能を達成。
原題: Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning / Tenglong Liu, Yang Li, Yixing Lan 他
日本語で読む → - 論文強化学習制御AI
ConcertoRL:直接駆動タンデム翼車両の制御を強化する革新的な時間インターリーブ強化学習アプローチ
昆虫スケールの直接駆動タンデム翼実験プラットフォームの制御において、古典的制御器と強化学習制御器を時間インターリーブするConcertoRLを提案し、初期段階の制御精度とオンライン学習の安定性を向上させた。
原題: ConcertoRL: An Innovative Time-Interleaved Reinforcement Learning Approach for Enhanced Control in Direct-Drive Tandem-Wing Vehicles / Minghao Zhang, Bifeng Song, Changhao Chen 他
日本語で読む → - 論文VLA/強化学習機械学習
Plan-Seq-Learn: 言語モデルで誘導する強化学習による長期的ロボティクスタスクの解法
LLMの高レベル計画と運動計画を組み合わせ、事前定義されたスキルなしで強化学習を効率的に誘導し、最大10段階の長期的ロボティクスタスクを視覚入力から85%以上の成功率で解く手法を提案。
原題: Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks / Murtaza Dalal, Tarun Chiruvolu, Devendra Chaplot 他
日本語で読む → - 論文強化学習機械学習
特権センシングによる強化学習の足場づくり
訓練時のみ利用可能な高価なセンサ情報を批評家や世界モデルなどの補助要素に活用し、安価なセンサのみで動作する方策を効率的に学習する手法「Scaffolder」を提案。
原題: Privileged Sensing Scaffolds Reinforcement Learning / Edward S. Hu, James Springer, Oleh Rybkin 他
日本語で読む → - 論文オフライン強化学習ロボティクス
不正確なシミュレータを活用したオフライン強化学習の改善
不正確なシミュレータから得たデータをGANで重み付けし、限られたオフラインデータと組み合わせて強化学習の性能を向上させる手法を提案した。
原題: Improving Offline Reinforcement Learning with Inaccurate Simulators / Yiwen Hou, Haoyuan Sun, Jinming Ma 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
二層最適化による安全なマルチエージェント強化学習:自動運転への応用
スタッケルベルクモデルと二層最適化に基づく安全なマルチエージェント強化学習手法を提案し、自動運転の合流・ラウンドアバウト・交差点・レーストラックで評価した。
原題: Safe Multi-Agent Reinforcement Learning with Bilevel Optimization in Autonomous Driving / Zhi Zheng, Shangding Gu
日本語で読む → - 論文強化学習ロボティクス
生物・ロボットシステムのためのモデルフリー強化学習:理論と実践
動物とロボットの身体制御を対象に、モデルフリー強化学習(特にactor-critic法)の数理的・アルゴリズム的側面を解説し、身体性を考慮したフィードバック制御の研究枠組みを提示する。
原題: Deep Dive into Model-free Reinforcement Learning for Biological and Robotic Systems: Theory and Practice / Yusheng Jiao, Feng Ling, Sina Heydari 他
日本語で読む → - 論文オフライン強化学習機械学習
因果的行動影響を考慮した反事実的データ拡張
オフラインデータから、行動の影響を受けない状態部分を軌道間で交換する反事実的データ拡張手法CAIACを提案し、分布シフトに対するロバスト性を向上させた。
原題: Causal Action Influence Aware Counterfactual Data Augmentation / Núria Armengol Urpí, Marco Bagatella, Marin Vlastelica 他
日本語で読む → - 論文強化学習ロボティクス
センサフュージョンにおける強化学習の強化:ローバ探索計画のためのキュバチャとサンプリングベース積分法の比較分析
2次元多角形上の積分において、キュバチャ法とサンプリングベース法の計算速度と精度を比較し、強化学習などの高反復アルゴリズムにはキュバチャ法が適していることを示した。
原題: Enhancing Reinforcement Learning in Sensor Fusion: A Comparative Analysis of Cubature and Sampling-based Integration Methods for Rover Search Planning / Jan-Hendrik Ewers, Sarah Swinton, David Anderson 他
日本語で読む → - 論文強化学習機械学習
大規模離散行動空間のための確率的Q学習
大規模離散行動空間において、全行動ではなく対数オーダーの確率的な行動部分集合のみを考慮することで、Q学習やDQNの計算負荷を大幅に削減する手法を提案し、収束性の理論解析と実験的検証を行った。
原題: Stochastic Q-learning for Large Discrete Action Spaces / Fares Fourati, Vaneet Aggarwal, Mohamed-Slim Alouini
日本語で読む → - 論文自動運転/強化学習ベンチマークAI
TorchDriveEnv: 反応的でリアルかつ多様なNPCを備えた自動運転のための強化学習ベンチマーク
Pythonで実装された軽量な自動運転向け強化学習ベンチマークで、反応的でリアルかつ多様なNPC行動シミュレーションと統合し、学習車両の挙動評価を可能にする。
原題: TorchDriveEnv: A Reinforcement Learning Benchmark for Autonomous Driving with Reactive, Realistic, and Diverse Non-Playable Characters / Jonathan Wilder Lavington, Ke Zhang, Vasileios Lioutas 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
LLMベースのマルチエージェント強化学習:現状と今後の展望
LLMを活用した単一エージェントおよびマルチエージェント強化学習の既存フレームワークを調査し、協調・通信・人間参加型シナリオに焦点を当てて今後の研究方向を提示したサーベイ論文。
原題: LLM-based Multi-Agent Reinforcement Learning: Current and Future Directions / Chuanneng Sun, Songjun Huang, Dario Pompili
日本語で読む → - 論文強化学習/自動運転ロボティクス
RACER: 認識的不確実性に基づくリスク感受型強化学習による高速走行と衝突低減
リスク感受型制御と適応的行動空間カリキュラムを組み合わせ、認識的不確実性推定により分布外状態を自動回避する強化学習フレームワークを提案し、実車のラリーカーで高速オフロード走行を実現した。
原題: RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes / Kyle Stachowicz, Sergey Levine
日本語で読む → - 論文強化学習ロボティクス
家庭用ロボットの進化:効率的な訓練と性能向上のための深層対話型強化学習
家庭用ロボットの学習を効率化するため、訓練者の助言をルールベースで永続的に保持・再利用する深層対話型強化学習手法を提案した。
原題: Advancing Household Robotics: Deep Interactive Reinforcement Learning for Efficient Training and Enhanced Performance / Arpita Soni, Sujatha Alla, Suresh Dodda 他
日本語で読む → - 論文逆強化学習ロボティクス
実世界の非構造歩行者群衆におけるマルチエージェント逆強化学習
混雑した歩行者群衆の中で複数エージェントの報酬関数を同時に学習するため、扱いやすさと合理性のトレードオフトリックを用いた新しいマルチエージェント最大エントロピー逆強化学習を提案し、複数のデータセットで有効性を示した。
原題: Multi-Agent Inverse Reinforcement Learning in Real World Unstructured Pedestrian Crowds / Rohan Chandra, Haresh Karnan, Negar Mehr 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
動的深層ファクターグラフによるマルチエージェント強化学習
ファクターグラフを用いて価値関数の分解を動的に生成し、エージェント間の協調を効率的に学習するマルチエージェント強化学習アルゴリズムを提案した。
原題: Dynamic Deep Factor Graph for Multi-Agent Reinforcement Learning / Yuchen Shi, Shihong Duan, Cheng Xu 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
最小限の人的介入で自動運転車を訓練する自律アルゴリズム
実世界での強化学習による自動運転訓練において、エピソード間のリセットに必要な人的介入を削減する自律アルゴリズムを提案。未探索だが到達可能な状態から得られる情報量を見積もり、有益な初期状態を特定する。
原題: Autonomous Algorithm for Training Autonomous Vehicles with Minimal Human Intervention / Sang-Hyun Lee, Daehyeok Kwon, Seung-Woo Seo
日本語で読む → - 論文アシスティブ強化学習ロボティクス
拡散モデルによるアシスティブ強化学習方策のリスク低減
介護・支援ロボットの強化学習方策に対し、拡散モデルを用いて追加の環境試行なしに危険な行動を安全なものへ修正する手法を提案し、シミュレーションで有効性を示した。
原題: Reducing Risk for Assistive Reinforcement Learning Policies with Diffusion Models / Andrii Tytarenko
日本語で読む →
PR・アフィリエイト広告
