論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/5/25 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
影響力のスナップショット:オンライン強化学習のための局所データ帰属フレームワーク
オンライン強化学習(PPO)において、直近の訓練バッファ内の各経験がエージェントの行動や累積報酬に与える影響を勾配類似度で測定する局所帰属フレームワークを提案し、学習診断・行動形成の時間分析・訓練中の介入に応用。さらに経験フィルタリングを反復するIIFアルゴリズムを提案し、サンプル効率と性能を向上させた。
原題: A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning / Yuzheng Hu, Fan Wu, Haotian Ye 他
日本語で読む → - 論文強化学習ベンチマーク機械学習
ImagineBench:大規模言語モデルのロールアウトを用いた強化学習の評価ベンチマーク
LLMが生成した仮想経験(imaginary rollouts)と実環境のロールアウトを併用するオフライン強化学習アルゴリズムを評価する初のベンチマークを提案し、既存手法の課題と今後の研究方向を示した。
原題: ImagineBench: Evaluating Reinforcement Learning with Large Language Model Rollouts / Jing-Cheng Pang, Kaiyuan Li, Yidi Wang 他
日本語で読む → - 論文目標条件付き強化学習機械学習
目標条件付き強化学習のためのヌル反事実的因子相互作用
物体中心タスクで後知恵リラベリングが失敗する問題に対し、原因物体が存在しなければ対象物体の遷移が変わったはずという「ヌル反事実」で相互作用を定義し、それを後知恵リラベリングと組み合わせて学習効率を改善する手法を提案した。
原題: Null Counterfactual Factor Interactions for Goal-Conditioned Reinforcement Learning / Caleb Chuck, Fan Feng, Carl Qi 他
日本語で読む → - 論文自動運転/強化学習/安全制御ロボティクス
不確実性を考慮した安全クリティカルな自動運転車の意思決定と制御:無信号交差点における枠組み
強化学習の不確実性を推定し、高次制御バリア関数を安全フィルタとして動的に切り替えることで、無信号交差点での安全性と効率性を両立する手法を提案した。
原題: Uncertainty-Aware Safety-Critical Decision and Control for Autonomous Vehicles at Unsignalized Intersections / Ran Yu, Zhuoren Li, Lu Xiong 他
日本語で読む → - 論文強化学習機械学習
ロバスト制約付きMDPにおける反復計算量保証付き効率的方策最適化
実モデルとシミュレータのずれがある状況で、最悪ケースのモデルに対しても制約を満たしつつ報酬を最大化する方策を、二分探索なしでO(ε^-2)反復で学習する手法を提案した論文。
原題: Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees / Sourav Ganguly, Kishan Panaganti, Arnob Ghosh 他
日本語で読む → - 論文強化学習機械学習
サブゴール方策のブートストラップによる階層構造の平坦化
サブゴール条件付き方策をアドバンテージ重み付き重点サンプリングでブートストラップし、生成モデル不要で長地平のフラットな目標条件付き方策をオフライン学習する手法を提案。
原題: Flattening Hierarchies with Policy Bootstrapping / John L. Zhou, Jonathan C. Kao
日本語で読む → - 論文オフライン強化学習機械学習
FlowQ: エネルギー誘導フローポリシーによるオフライン強化学習
エネルギー誘導フローマッチングを訓練時に取り入れ、推論時の誘導を不要にしたオフライン強化学習アルゴリズムFlowQを提案。
原題: FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning / Marvin Alles, Nutan Chen, Patrick van der Smagt 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
選好に応じて運転スタイルを動的に適応させる多目的強化学習による自動運転
多目的強化学習を用いて、効率・快適性・速度・攻撃性などの運転スタイル選好を連続的な重みベクトルで表現し、再学習なしに実行時に適応できる単一ポリシーの自動運転エージェントを提案した。CARLAシミュレータでの評価により、衝突回避や経路完走性能を維持しつつ選好に応じて動的に運転行動を変化させることを示した。
原題: Multi-Objective Reinforcement Learning for Adaptable Personalized Autonomous Driving / Hendrik Surmann, Jorge de Heuvel, Maren Bennewitz
日本語で読む → - 論文経路計画/強化学習ロボティクス
モジュール型自己再構成衛星のための目標指向強化学習ベース経路計画アルゴリズム
モジュール型自己再構成衛星の再構成経路計画において、複数の目標構成に対応するため、Hindsight Experience ReplayとInvalid Action Maskingを組み込んだ目標指向強化学習アルゴリズムを提案し、4ユニットと6ユニットのクラスタでそれぞれ95%と73%の成功率を達成した。
原題: A Goal-Oriented Reinforcement Learning-Based Path Planning Algorithm for Modular Self-Reconfigurable Satellites / Bofei Liu, Dong Ye, Zunhao Yao 他
日本語で読む → - 論文安全強化学習機械学習
生涯安全を保証するエンドツーエンド安全強化学習手法
オフライン安全RLと安全な方策展開を統合し、学習から運用まで生涯にわたり安全性を保証する手法を提案。
原題: A Provable Approach for End-to-End Safe Reinforcement Learning / Akifumi Wachi, Kohei Miyaguchi, Takumi Tanabe 他
日本語で読む → - 論文安全強化学習ロボティクス
ガードレールに導かれて:ロボット学習の安全インストラクターとしての制御バリア関数
安全行動の時間的影響を連続的な負の報酬でモデル化し、制御バリア関数(CBF)を強化学習に統合する3つの手法を提案。シミュレーションと実機の四輪差動駆動ロボットで、CBFが危険領域回避と学習改善に有効であることを示した。
原題: Guided by Guardrails: Control Barrier Functions as Safety Instructors for Robotic Learning / Maeva Guerrier, Karthik Soma, Hassan Fouad 他
日本語で読む → - 論文強化学習機械学習
部分観測下におけるガイド付き方策最適化
特権情報を活用するガイダーと学習者を共訓練し、模倣学習を通じて部分観測環境での強化学習を改善するフレームワークを提案。
原題: Guided Policy Optimization under Partial Observability / Yueheng Li, Guangming Xie, Zongqing Lu
日本語で読む → - 論文強化学習/ロボットマニピュレーションロボティクス
TeViR: 拡散モデルによるテキストから動画への報酬生成で効率的な強化学習
テキストから動画を生成する拡散モデルを使い、予測映像と現在の観測を比較して密な報酬を生成する強化学習手法を提案。11の複雑なロボット操作タスクでサンプル効率と性能を向上させた。
原題: TeViR: Text-to-Video Reward with Diffusion Models for Efficient Reinforcement Learning / Yuhui Chen, Haoran Li, Zhennan Jiang 他
日本語で読む → - 論文強化学習機械学習
DISCOVER: スパース報酬強化学習のための自動カリキュラム
目標タスクの方向へ探索目標を自動選択することで、スパース報酬の長期的タスクを効率的に解く強化学習手法を提案。
原題: DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning / Leander Diaz-Bone, Marco Bagatella, Jonas Hübotter 他
日本語で読む → - 論文強化学習機械学習
Multi-CALF: 統計的保証付き政策結合アプローチ
強化学習政策を相対的価値改善に基づいて組み合わせるMulti-CALFを提案し、安定性保証を継承しつつ性能向上を実現、収束確率や偏差・収束時間の理論的保証を与えた。
原題: Multi-CALF: A Policy Combination Approach with Statistical Guarantees / Georgiy Malaniya, Anton Bolychev, Grigory Yaremenko 他
日本語で読む → - 論文強化学習ロボティクス
保守的ソフトアクタークリティックによる効果的な強化学習制御
エントロピーと相対エントロピー正則化を組み合わせたCSACを提案し、探索と安定性のバランスを改善してロボット制御タスクでの性能を向上させた。
原題: Effective Reinforcement Learning Control using Conservative Soft Actor-Critic / Zhiwei Shang, Xinyi Yuan, Wenjun Huang 他
日本語で読む → - 論文逆強化学習機械学習
最小限の観測による逆強化学習を用いたコスト関数推定
最大エントロピー基準に基づく反復的な逆強化学習アルゴリズムを提案し、少ない観測から連続空間における最適なコスト関数を効率的に推定する。
原題: Cost Function Estimation Using Inverse Reinforcement Learning with Minimal Observations / Sarmad Mehrdad, Avadesh Meduri, Ludovic Righetti
日本語で読む → - 論文強化学習機械学習
オフライン事前学習済み方策のみを用いた効率的なオンラインRLファインチューニング
事前学習済みQ関数に頼らず、オフラインで学習した方策だけを使ってオンライン強化学習でファインチューニングする手法PORLを提案し、BC方策の直接改善も可能にした。
原題: Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only / Wei Xiao, Jiacheng Liu, Zifeng Zhuang 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
自動カリキュラム学習による運転シナリオ生成:堅牢で効率的な強化学習に向けて
エージェントの能力に応じて難易度を自動調整する運転シナリオを生成するカリキュラム学習フレームワークを提案し、強化学習による自動運転エージェントの汎化性能と訓練効率を向上させた。
原題: Automatic Curriculum Learning for Driving Scenarios: Towards Robust and Efficient Reinforcement Learning / Ahmed Abouelazm, Tim Weinstein, Tim Joseph 他
日本語で読む → - 論文強化学習機械学習
一般化リアプノフ関数による強化学習方策の安定性証明
強化学習方策の価値関数にニューラルネットの残差項を加えて一般化リアプノフ関数を学習し、方策の安定性を証明する手法を提案した。
原題: Certifying Stability of Reinforcement Learning Policies using Generalized Lyapunov Functions / Kehan Long, Jorge Cortés, Nikolay Atanasov
日本語で読む → - 論文ロバスト強化学習機械学習
線形混合分布ロバストマルコフ決定過程
遷移が線形混合モデルで表される場合に、混合重みの不確かさを考慮した新しい分布ロバストMDPを提案し、方策学習のサンプル複雑度を理論的に解析した。
原題: Linear Mixture Distributionally Robust Markov Decision Processes / Zhishuai Liu, Pan Xu
日本語で読む → - 論文耐故障制御/強化学習ロボティクス
オンラインTransformer適応を組み込んだ強化学習によるクアッドロータの耐故障制御
Transformerでリアルタイムに潜在表現を推定し、未知の機体モデルにも再学習なしで適応できる強化学習ベースの耐故障制御フレームワークを提案し、アクチュエータ故障下で95%の成功率を達成した。
原題: Reinforcement Learning-based Fault-Tolerant Control for Quadrotor with Online Transformer Adaptation / Dohyun Kim, Jayden Dongwoo Lee, Hyochoong Bang 他
日本語で読む → - 論文強化学習/キャラクタ制御ロボティクス
AMOR: 多目的強化学習による適応的キャラクタ制御
重み付けされた複数の報酬を条件とする単一の強化学習ポリシーを訓練し、訓練後に重みを調整可能にすることで、ロボットキャラクタの動的動作生成と新規タスクへの適応を効率化した。
原題: AMOR: Adaptive Character Control through Multi-Objective Reinforcement Learning / Lucas N. Alegre, Agon Serifi, Ruben Grandia 他
日本語で読む → - 論文強化学習AI
目標条件付き・メタ強化学習による汎用的動的目標認識
動的に変化する環境でエージェントの目標をリアルタイムに認識するため、目標条件付き強化学習とメタ強化学習を用いた2手法を提案し、多様な環境で高速適応と高精度を実証した。
原題: General Dynamic Goal Recognition using Goal-Conditioned and Meta Reinforcement Learning / Osher Elhadad, Owen Morrissey, Reuth Mirsky
日本語で読む → - 論文自動運転/安全強化学習ロボティクス
VLM-SAFE: 視覚言語モデルと世界モデルによる安全志向の自動運転強化学習
視覚言語モデルでシーンの意味的な安全信号を得て、世界モデルで将来軌道を想像し、その安全性を評価して方策を学習するオフライン安全強化学習フレームワークを提案。
原題: VLM-SAFE: Vision-Language Model-Guided Safety-Aware Reinforcement Learning with World Models for Autonomous Driving / Yansong Qu, Zilin Huang, Zihao Sheng 他
日本語で読む → - 論文強化学習ロボティクス
ReinFlow: フローマッチング方策をオンライン強化学習で微調整
フローマッチング方策に学習可能なノイズを注入して離散マルコフ過程に変換し、オンライン強化学習で微調整する手法を提案。歩行・操作タスクで大幅な性能向上と計算時間削減を実現。
原題: ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning / Tonghe Zhang, Chao Yu, Sichang Su 他
日本語で読む → - 論文制御/強化学習ロボティクス
羽ばたきドローンのハイブリッド制御のための強化学習トウィニング
適応デジタルツインと強化学習を組み合わせ、実環境と仮想環境間で知識を転移しながら羽ばたきドローンの飛行制御を行うハイブリッド手法を提案。
原題: Reinforcement Twinning for Hybrid Control of Flapping-Wing Drones / Romain Poletti, Lorenzo Schena, Lilla Koloszar 他
日本語で読む → - 論文強化学習機械学習
予測可能で堅牢な制御のための軌道エントロピー強化学習
行動軌道全体のエントロピーを最小化する新たな帰納バイアスを導入し、変分予測モデルで推定することで、周期性が高くノイズや環境変化に強い方策を学習する手法を提案した。
原題: Trajectory Entropy Reinforcement Learning for Predictable and Robust Control / Bang You, Chenxu Wang, Huaping Liu
日本語で読む → - 論文オフライン強化学習機械学習
オフライン強化学習のための変分OOD状態補正
オフライン強化学習において、データ密度を考慮した安全知覚(DASP)により分布外状態を補正し、安全な領域への誘導を図る手法を提案した。
原題: Variational OOD State Correction for Offline Reinforcement Learning / Ke Jiang, Wen Jiang, Xiaoyang Tan
日本語で読む → - 論文強化学習機械学習
対話型二重Deep Qネットワーク:自律走行の強化学習における人間の介入と評価的予測の統合
人間の介入を強化学習のQ値更新に直接組み込み、自律走行の性能を高めるiDDQNを提案し、介入効果を評価するオフライン枠組みも示した。
原題: Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving / Alkis Sygkounas, Ioannis Athanasiadis, Andreas Persson 他
日本語で読む →
PR・アフィリエイト広告
