論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習ロボティクス
アクチュエータレベル方策によるケーブル駆動パラレルロボット構成を横断した深層強化学習の一般化
ケーブル駆動パラレルロボット(CDPR)の制御に、ロボット構成に依存しないアクチュエータレベル方策を導入し、シミュレーションで訓練した方策を実機に転移して汎化性能を実証した。
原題: Generalizing deep reinforcement learning across cable-driven parallel robot configurations with actuator-level policies / Abir Bouaouda, Mohamed Boutayeb, François Charpillet 他
日本語で読む → - 論文VLA/強化学習ロボティクス
新規ロボット形態に対するOpenVLA-OFTのRLブートストラッピング
事前学習済みのVLAポリシーを、デモデータなしでケーブル駆動パラレルロボットに適応させるため、シミュレーション内でPPOとGRPOを用いた強化学習を行い、指示成功率を向上させた。
原題: RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment / Damir Nurtdinov, Alexei Kornaev, Alexander Maloletov
日本語で読む → - 論文強化学習/計画制御
co-safe LTL計画のための厳密なモデルフリーポリシー反復法
有限マルコフ決定過程におけるco-safe線形時相論理目標に対するモデルフリー強化学習法を提案し、割引代理を用いて非一意性を解消し、割引なしのポリシー評価と貪欲改善により最適ポリシーへの収束を保証する。
原題: Exact Model-Free Policy Iteration for Co-safe LTL Planning / Zetong Xuan, Yu Wang
日本語で読む → - 論文マルチエージェント強化学習AI
MARS-RA: マルチモーダル比較による具現化マルチエージェント協調におけるクレジット割り当てのためのランク集約
協調マルチエージェント強化学習におけるクレジット割り当て問題を、大規模マルチモーダルモデルによるエージェント間のペア比較を用いたランク集約問題として再定式化し、ノイズや動的なエージェント参加に頑健な報酬整形手法を提案した。
原題: MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation / Dawei Wang, Di Zhao, Xinyuan Liu 他
日本語で読む → - 論文強化学習制御
臨界性モデルを用いた身体性AIの自己進化学習
身体性AIのファインチューニング停滞を解決するため、ポリシー自身の実行結果から将来の失敗確率を予測する臨界性モデルを学習し、失敗しやすいシナリオを重点的にサンプリングして学習データの情報密度を高める自己進化手法を提案した。
原題: Self-Evolving Learning for Embodied AI with Criticality Model / Linxuan He, Yuying Tian, Lingxiang Fan 他
日本語で読む → - 論文強化学習機械学習
SCOUT: スパース報酬強化学習のための文脈別リセットカリキュラム
スパース報酬強化学習において、各タスク文脈に個別のリセットカリキュラムを適応的に与えるオンライン制御手法SCOUTを提案し、ナビゲーションや操作タスクで学習を改善することを示した。
原題: SCOUT: Per-Context Reset Curricula for Sparse-Reward Reinforcement Learning / Siddharth Aphale, Ayushman Singh
日本語で読む → - 論文強化学習機械学習
良いランカー、悪い目的関数:表現力豊かな方策探索下での双線形コントラスト批評家
コントラスト学習による批評家は行動のランキングには優れるが、そのスコアを最大化すると価値関数として不適切で、オフサポートの行動を選んでしまうことを示した論文。
原題: Good Rankers, Bad Objectives: Bilinear Contrastive Critics under Expressive Policy Search / Ayushman Singh, Siddharth Aphale
日本語で読む → - 論文強化学習AI
専門家行動事前強化学習
オンライン強化学習のサンプル効率を向上させるため、オフラインデータに依存せず、オンラインリプレイバッファから専門家ポリシー事前分布を生成するQ誘導CVAEを提案し、専門家行動ガイダンスとポリシー勾配補正を統合したアルゴリズムEBPを導入した。
原題: Expert Behavior Prior Reinforcement Learning / Gong Gao, Weidong Zhao, Xianhui Liu 他
日本語で読む → - 論文強化学習機械学習
階層的アクションチャンキングを用いたオフライン強化学習
オフライン目標条件付き強化学習において、高レベルの潜在プランニングと低レベルのアクションチャンキングを組み合わせたHiQCを提案し、長期的タスクでの価値推定誤差を低減して性能を向上させた。
原題: Offline RL with Hierarchical Action Chunking / Ahad Jawaid
日本語で読む → - 論文遠隔操作/強化学習制御
関節柔軟性と時間変動遅延を有する遠隔操作マニピュレータの制御における適応ゲイン調整のための深層強化学習
関節の柔軟性と時間変動する通信遅延を持つ遠隔操作システムに対し、安定なP+dコントローラとTD3強化学習エージェントを組み合わせ、遠隔側の比例・減衰ゲインをリアルタイム調整して振動低減と追従性能向上を実現した。
原題: Deep Reinforcement Learning for Adaptive Gain Tuning in Control of Teleoperation Manipulators with Joint Flexibility and Time-Varying Delays / Armin Attarzadeh, Mohammad Ali Ghaemifar, Alireza Khanzadeh 他
日本語で読む → - 論文強化学習AI
環境・エージェント・結合系のワールドモデル
モデルベース強化学習におけるワールドモデルを、予測するチャネル(環境、エージェント、結合系)に基づいて分類し、計算力学を用いて各チャネルの正準モデルを定義した。
原題: World models of environment, agent and joint agent-environment systems / Manuel Baltieri, Filippo Torresan, Yivan Zhang 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
Dreamer-CPC: 世界モデルを用いたメッセージ学習による分散型マルチエージェント強化学習
分散型マルチエージェント強化学習において、世界モデルの潜在状態からメッセージを生成する手法を提案し、観測が欠落するタスクで既存手法を大きく上回る性能を達成した。
原題: Dreamer-CPC: Message Learning with World Models for Decentralized Multi-agent Reinforcement Learning / Taisuke Takayama, Naoto Yoshida, Tadahiro Taniguchi
日本語で読む → - 論文強化学習機械学習
能動的推論を凸マルコフ決定過程として捉える
能動的推論(AIF)の期待自由エネルギー最小化を、閉ループ制御ポリシーに対して凸マルコフ決定過程(MDP)として定式化し、鏡像降下アルゴリズムを導出した。
原題: Active Inference as a Convex Markov Decision Process / Nikola Milosevic, Nicolás Hinrichs, Nico Scherf
日本語で読む → - 論文強化学習機械学習
関係性を持つ隠れ状態による強化学習における創発的計画行動
モデルフリー強化学習において、環境状態に紐づく関係性を持つ隠れ状態のネットワークが、学習された関係を通じて計画機構を獲得することを示した論文。
原題: Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States / Armin Sommer
日本語で読む → - 論文世界モデル/強化学習画像認識
PAVXploreRL: 行動探索を伴う物理・行動・視覚の世界モデル強化学習
事前学習済みの潜在世界モデルに強化学習を適用し、物理的妥当性・行動追従性・視覚的忠実性を明示的に最適化することで、専門家データ外の行動への汎化を改善する手法を提案した。
原題: PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration / Han Wang, Zijun Wang, Shuoshuo Xue 他
日本語で読む → - 論文モデルベース強化学習/安全制御機械学習
世界からのフィードバックから学ぶ:モデルベース強化学習においてモデルの不確実性がリスクシグナルとして機能しない理由
モデルベース強化学習の安全制御において、モデル内部の不確実性をリスク指標として使うと衝突率が悪化することを示し、センサー由来のマージンや衝突ラベルから学習したフィードバックモデルなど、世界からのフィードバック信号を用いることで衝突率を大幅に低減できることを実証した論文。
原題: Learning from World Feedback: Why Model Uncertainty Fails as a Risk Signal in Model-Based RL / Zhaohui Wang
日本語で読む → - 論文強化学習/表現学習機械学習
強化学習のための因子分解スペクトル表現
遷移カーネルを3モードテンソルとみなし、CP分解とノイズ対比学習で状態・行動・次状態のエンコーダを学習する手法FaStRを提案。表現学習に必要なサンプル数を削減し、高次元の移動タスクで効果を発揮する。
原題: Factorized Spectral Representations for Reinforcement Learning / Junyi Wu, Dan Li
日本語で読む → - 論文強化学習機械学習
DAGR: 状態条件付き目標表現と差分認識型目標クロスアテンション
目標条件付き強化学習において、現在の状態を考慮しない従来の目標表現を、マルチスケールのゲート付きクロスアテンションで状態条件付きに改良する手法DAGRを提案した。ナビゲーションタスクで性能が向上するが、操作やパズルではベースラインと同等以下であり、普遍的な改善ではないことを示した。
原題: DAGR: State-Conditioned Goal Representations via Difference-Aware Goal Cross-Attention / Xing Lei, Wenyan Yang, Xuetao Zhang 他
日本語で読む → - 論文強化学習AI
人間の選好と正当化に基づくワールドモデルを用いた安全なエージェント行動の学習
未知の環境で報酬関数が使えない安全重視のタスクに対し、人間の選好とその理由(正当化)を活用して報酬モデルを学習し、ワールドモデルとモデル予測制御で安全な方策を直接展開する手法DROPJを提案した。
原題: Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models / Ilias Kazantzidis, Timothy J. Norman, Yali Du 他
日本語で読む → - 論文VLA/強化学習機械学習
少ないデータから多くを学ぶ:後知恵からの強化学習
VLAモデルの強化学習後訓練において、失敗したロールアウトを実際に達成したタスクに再ラベル付けする「後知恵からの学習」を提案し、サンプル効率を5倍向上させた。
原題: Learning More from Less: Reinforcement Learning from Hindsight / Iris Xu, Sunshine Jiang, John Marangola 他
日本語で読む → - 論文強化学習機械学習
安全探索:リカバリ介入付き強化学習のための不偏混合方策勾配
安全領域外でリカバリ方策に切り替える際の混合方策バイアスを、スコア関数のみを用いた不偏勾配推定で解消するPPO拡張を提案し、転倒を大幅に削減した。
原題: SafeExplorer: An Unbiased Mixed-Policy Gradient for Reinforcement Learning with Recovery Interventions / Elham Daneshmand, Majid Khadiv, Glen Berseth 他
日本語で読む → - 論文強化学習/探索機械学習
プロンプト駆動探索
ロボット操作や推論タスクにおいて、報酬が得られない初期状態からでも、視覚言語モデルがロールアウト動画を分析してプロンプトを書き換えることで探索を促進し、強化学習の成功を可能にする手法を提案した。
原題: Prompt-Driven Exploration / Sunshine Jiang, John Marangola, David Zhang 他
日本語で読む → - 論文強化学習機械学習
強化学習エージェントにおける障害様表現型のトランス診断空間
強化学習エージェントに認知評価信号を操作して7つの心理障害(不安、躁病、強迫性チェック、うつ、衝動性、依存症、PTSD)を誘発し、用量反応関係や障害間の相互作用を分析した研究。
原題: A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents / Hari Prasad
日本語で読む → - 論文VLA/強化学習機械学習
大規模視覚言語行動モデルにおける効率的かつ汎用的な強化学習のためのオフライン教師信号の活用
オフライン教師信号を強化学習に組み込むことで、OOD性能を保ちつつ学習効率を約2倍に向上させるハイブリッド手法を提案・評価した。
原題: Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models / Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov
日本語で読む → - 論文強化学習AI
拡散ガイドによる不確実性を考慮した遅延ポリシー最適化
強化学習における遅延フィードバックによる性能劣化を解決するため、拡散モデルで遅延状態と現在状態の関係をモデル化し、その不確実性を重み付けに利用する新しい手法を提案した。
原題: Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization / Junqi Tu, Zejiao Liu, Fangfei Li 他
日本語で読む → - 論文世界モデル/強化学習機械学習
エージェント探索と構造化モデリングの相乗効果によるタスク十分な世界モデルの学習
エージェントが環境を能動的に探索してタスク関連情報を収集し、そのデータからタスクに必要な最小限の表現を世界モデルで学習することで、サンプル効率と汎化性能を向上させる手法を提案した。
原題: Learning Task-Sufficient World Models by Synergizing Agentic Exploration and Structured Modeling / Fan Feng, Yujia Zheng, Minghao Fu 他
日本語で読む → - 論文VLA/強化学習AI
VLA Grounder: ブラックボックスVLAモデルのための言語条件付け空間最適化
凍結されたVLAモデルの動作を改善するため、人間の指示をVLAに適したコマンドへ変換する言語条件付け空間ポリシーを強化学習で最適化する手法を提案。
原題: VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models / Damir Shodiev, Aleksei Staroverov, Nikita Kachaev 他
日本語で読む → - 論文コード生成/強化学習機械学習
DecompRL: モジュール型コード生成の学習による難問解決
LLMが解けない問題を、問題を小さなモジュールに分解して再結合することで解く強化学習アルゴリズムDecompRLを提案。GPUコストを約50倍削減し、標準的な生成では解けない問題を解決する。
原題: DecompRL: Solving Harder Problems by Learning Modular Code Generation / Juliette Decugis, Fabian Gloeckle, Francis Bach 他
日本語で読む → - 論文VLA/強化学習ロボティクス
WCM: 視覚・言語・行動強化学習のためのワールドクリティックモデル
ロボット操作のためのVLAモデルの強化学習後訓練において、観測履歴を扱うクリティックの表現が時間的ダイナミクスを捉えられない問題を解決するため、将来の潜在状態を予測しつつ価値を推定する軽量なWorld Critic Modelを提案した。
原題: WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning / Senyu Fei, Xiaopeng Yu, Siyin Wang 他
日本語で読む → - 論文強化学習/ベンチマークロボティクス
強化学習による到達回避タスクの学習:ベクトル化シミュレーションとベンチマーク
ロボットアームの到達回避タスクを、現実的な複雑さを保ったまま強化学習で解くためのベンチマークを初めて構築し、MuJoCo MJXとBraxによる並列化で高成功率を達成した。
原題: Learning Reach-Avoid Task with Reinforcement Learning: Vectorized Simulation and Benchmark / Jonas Weihing, Shahram Eivazi
日本語で読む →
PR・アフィリエイト広告
