論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/6/12 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/計画AI
因果オブジェクト中心モデルによるモンテカルロ木探索計画
オブジェクト中心表現と因果注意を組み合わせたモデルベース強化学習アルゴリズムCOMETを提案し、複数のベンチマークで初期学習性能を向上させた。
原題: Causal Object-Centric Models for Planning with Monte Carlo Tree Search / Rodion Vakhitov, Leonid Ugadiarov, Alexey Skrynnik 他
日本語で読む → - 論文強化学習/組み込みシステム制御
TetraRL: オンデバイス深層強化学習システムのための自己適応型ランタイム
本論文は、リソース制約のある組み込みデバイス上でDRLを実行する際に、リアルタイム性、報酬、メモリ、エネルギーという4つの目的を動的にバランスする自己適応型ランタイムフレームワークTetraRLを提案する。
原題: TetraRL: A Self-Adaptive Runtime for On-Device Deep Reinforcement Learning Systems / Zexin Li, Soheil Shirvani, Cong Liu
日本語で読む → - 論文強化学習/拡散ポリシー機械学習
QPILOTS: フローポリシーのための効率的なテスト時Qステアリング
フローマッチングや拡散ポリシーを強化学習で最適化する際、推論時にノイズ除去プロセスをQ値の勾配で操縦する手法QPILOTSを提案し、オフラインからオンラインへのRLベンチマークで高い成功率を達成した。
原題: QPILOTS: Efficient Test-Time Q-Steering for Flow Policies / Yifan Ruan, Chenyang Cao, Andreas Burger 他
日本語で読む → - 論文強化学習機械学習
PAWS: アドバンテージ重み付きセグメントを用いた選好学習
人間の軌道比較から報酬を学習する選好ベース強化学習において、訓練と推論の不一致による分布シフトを分析し、セグメントレベルのアドバンテージ関数を直接用いた政策更新手法PAWSを提案した。ロボット操作・移動タスクで既存手法を上回る性能を示した。
原題: PAWS: Preference Learning with Advantage-Weighted Segments / Aleksandar Taranovic, Onur Celik, Niklas Freymuth 他
日本語で読む → - 論文強化学習ロボティクス
UniIntervene: 実世界強化学習の効率化のためのエージェント介入
人間参加型強化学習における介入コストを削減するため、非生産的な探索を検知し自律的に回復行動を生成するエージェント介入モデルUniInterveneを提案した。
原題: UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning / Haoyuan Deng, Yitong Gao, Yudong Lin 他
日本語で読む → - 論文強化学習ロボティクス
対比的相互作用による物体操作のゼロからの学習
強化学習における対比学習が操作タスクで苦戦する原因を分析し、相互作用を考慮したリサンプリング手法(IWR)を提案して、シミュレーションと実機のエアホッケーで性能を向上させた。
原題: Learning Object Manipulation from Scratch via Contrastive Interaction / Tongle Shen, Caleb Chuck, Fan Feng 他
日本語で読む → - 論文拡散ポリシー/強化学習/モデルベース機械学習
MODIP: 拡散ポリシーのための効率的なモデルベース最適化
拡散ポリシーを強化学習で直接微調整する代わりに、ワールドモデルとモデル予測制御で高品質な軌道を生成し、それを教師信号として行動クローニング的に微調整するフレームワークを提案した。
原題: MODIP: Efficient Model-Based Optimization for Diffusion Policies / Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome 他
日本語で読む → - 論文強化学習機械学習
封印監査における符号付き圧縮進捗はグッドハート耐性を持つ
本論文は、世界モデルの圧縮進捗を報酬とする内在的動機付けが、封印された監査損失の符号付き減少として定義されると、累積報酬が監査改善に一致し、偽の進捗を無限に押し上げられないことを証明した。
原題: Signed Compression Progress on a Sealed Audit is Goodhart-Resistant / Ayush Mittal, Dhruv Gupta
日本語で読む → - 論文強化学習機械学習
密度輸送によるフローマッチングポリシーの強化学習
フローマッチングポリシーを強化学習で微調整する新しいアルゴリズムRLDTを提案。最大エントロピーRL目的とSVGDを用いて輸送場を構築し、期待ターゲット推定で安定学習を実現。
原題: Reinforcement Learning for Flow-Matching Policies with Density Transport / Boshu Lei, Kostas Daniilidis, Antonio Loquercio
日本語で読む → - 論文強化学習/空中マニピュレーション機械学習
文脈的対比メタ強化学習による自律空中マニピュレーション
クワッドローターが多様なペイロードを自律的に把持・輸送・配送するための、文脈エンコーダと対比学習を組み合わせたメタ強化学習手法を提案。シミュレーションのみで訓練し、実機へ直接展開可能。
原題: Autonomous Aerial Manipulation via Contextual Contrastive Meta Reinforcement Learning / Lixuan Jin, Bingxuan Lan, Xinyi Bao 他
日本語で読む → - 論文水中ロボット/強化学習ロボティクス
強化学習を用いた自律型水中ロボットのエンドツーエンドの動作計画と実行に向けて
本論文は、生のセンサーデータからスラスター指令へのエンドツーエンドの深層強化学習アプローチを提案し、高レベル方策と低レベル方策を階層的に組み合わせて水中ロボットの障害物回避と目標到達を実現する。
原題: Towards End to End Motion Planning and Execution for Autonomous Underwater Vehicles Using Reinforcement Learning / Elisei Shafer, Oren Gal
日本語で読む → - 論文強化学習機械学習
GenPO++: ヤコビアンフリー尤度比を用いた生成的方策最適化
フローベースの生成的方策を強化学習に適用する際、実行アクションの確率評価が難しい問題を、高次可逆ODEソルバーと履歴状態を利用して正確かつヤコビアンフリーな尤度比計算を実現する枠組みを提案した。大規模シミュレーションや実ロボット操作タスクで優れた性能を示した。
原題: GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios / Ke Hu, Shutong Ding, Panxin Tao 他
日本語で読む → - 論文強化学習機械学習
適応的質問と世界モデルプローブによる明示的行動モデルの学習
報酬のみで訓練されたエージェントの脆さを改善するため、明示的な記号的行動モデル(ESBM)を導入し、適応的質問と世界モデルプローブを用いて行動の仕組みを学習・検証する手法を提案した。
原題: Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes / Hikaru Shindo, Yu Deng, Teng Cao 他
日本語で読む → - 論文強化学習機械学習
表現学習がマルチタスク深層強化学習のスケーラビリティを実現する
モデルベース制御ではなく表現学習がマルチタスクRLのスケーラビリティの鍵であると主張し、予測的表現学習と高容量価値関数を組み合わせたモデルフリーアルゴリズムMR.Qを提案・評価した。
原題: Representation Learning Enables Scalable Multitask Deep Reinforcement Learning / Johan Obando-Ceron, Lu Li, Scott Fujimoto 他
日本語で読む → - 論文安全強化学習ロボティクス
COP-Q: コレスキー順序射影による安全最優先ロボット制御強化学習
報酬と安全性のQ値の相関を考慮し、コレスキー分解で安全を優先しつつ報酬の過度な保守性を抑える新しい安全強化学習手法を提案した。ロボットの移動やナビゲーション実験で安全性とサンプル効率の向上を確認した。
原題: COP-Q: Safety-First Reinforcement Learning for Robot Control via Cholesky-Ordered Projection / Guopeng Li, Moritz A. Zanger, Matthijs T. J. Spaan 他
日本語で読む → - 論文安全強化学習機械学習
説明可能な安全強化学習
シールドの決定を人間が解釈可能な形で説明するため、階層的な決定木を用いて安全リスクの分類と行動許可の理由を提示する手法を提案した。
原題: Explainably Safe Reinforcement Learning / Sabine Rieder, Stefan Pranger, Debraj Chakraborty 他
日本語で読む → - 論文強化学習機械学習
双対優位フィールド:オフライン目標条件付き強化学習のための方策抽出法
双対線形価値モデルから局所的な優位信号を抽出する方策抽出法を提案し、オフライン目標条件付き強化学習の性能を向上させた。
原題: Dual Advantage Fields / Alexey Zemtsov, Maxim Bobrin, Alexander Nikulin 他
日本語で読む → - 論文強化学習/自動化ロボティクス
HARBOR: エージェント型ロボット強化学習のためのハーネスフレームワーク
ロボット強化学習のパイプラインを自動化するエージェントフレームワークを提案し、環境構築からポリシー訓練までを自動化して、複数のベンチマークで有効性を示した。
原題: HARBOR: A Harness Framework for Agentic Robot Reinforcement Learning / Zechu Li, Yufeng Jin, Xiaoyang Liu 他
日本語で読む → - 論文強化学習/生成ポリシーロボティクス
ReFPO: フローマッチングポリシー勾配のためのリフロー正則化
フローマッチングポリシー勾配法に明示的なリフロー正則化を追加したオンライン強化学習手法を提案し、生成ポリシーの学習安定性と性能を向上させた。
原題: ReFPO: Reflow Regularization for Flow Matching Policy Gradients / Ge Wang, Yibo Peng, Fan Feng 他
日本語で読む → - 論文強化学習/ヒューマノイドロボティクス
批評家アーキテクチャの重要性:ヒューマノイドの移動操作における二重批評家と統一批評家の比較
ヒューマノイドロボットの移動と操作を統合する強化学習において、単一の統一批評家と分離した二重批評家のどちらが有効かをUnitree G1で比較し、二重批評家が学習効率と成功率で優れることを示した。
原題: Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation / Mehmet Turan Yardımcı
日本語で読む → - 論文強化学習/報酬設計機械学習
報酬設計エージェント:強化学習のための報酬設計
視覚言語モデルを用いて報酬関数を自動設計・改善するエージェントフレームワークを提案し、指示に沿ったロボット操作ポリシーを実現した。
原題: RDA: Reward Design Agent for Reinforcement Learning / Hojoon Lee, Ajay Subramanian, Ben Abbatematteo 他
日本語で読む → - 論文強化学習ロボティクス
敵対的姿勢正則化による人間らしいキネマティクスの巧みなピアノ演奏への適用
強化学習でピアノを弾く高自由度ロボットハンドの不自然な姿勢を、少量の人間の演奏データを使った敵対的学習で人間らしく矯正する手法を提案した。
原題: Enforcing Human-like Kinematics in Dexterous Piano Playing via Adversarial Posture Regularization / Bin Qiu, Yanming Shao, Guanyu Cai 他
日本語で読む → - 論文強化学習機械学習
UBP2: 不確実性バランス型選好計画による効率的な選好ベース強化学習
報酬・ダイナミクス・価値関数の不確実性を統合したスコアで軌道を計画し、能動的探索を行うモデルベースの選好強化学習手法を提案した。
原題: UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning / Mohamed Nabail, Leo Kaixuan Cheng, Jingmin Wang 他
日本語で読む → - 論文共設計/進化計算/強化学習ロボティクス
浮力支援ロボットの挑戦的移動のためのガウス進化的スペシャリストによる高速共同設計
形態と制御を同時最適化するため、設計空間を分割して多様な行動を捉えるガウス進化的スペシャリスト(GES)を提案し、浮力支援脚ロボットBALLUで性能向上と障害物越えを実証した。
原題: Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists / Ankit Sinha, Nitish Sontakke, Dennis Hong 他
日本語で読む → - 論文強化学習/適応機械学習
Warp RL: ベースポリシー分布の再形成による動力学適応
残差強化学習の限界を克服するため、ポリシーの行動分布を可逆な状態依存変換で変形する適応手法Warp RLを提案。シミュレーションと実機タスクで有効性を実証した。
原題: Warp RL: Reshaping Base Policy Distributions for Dynamics Adaptation / Ethan Hirschowitz, Fabio Ramos
日本語で読む → - 論文ソフトロボティクス/強化学習ロボティクス
線形埋め込み空間での強化学習によるソフトロボット構成横断的な汎用制御
ソフトロボットの多様な形態・構成に迅速に適応できる汎用制御システムを、共有の線形Koopman埋め込み空間での強化学習により実現した。33構成で検証し、転移サンプルを75倍削減しつつ堅牢な性能を示した。
原題: Reinforcement learning in linear embedding space unlocks generalizable control across soft robot configurations / Xinglong Zhang, Cong Li, Hangjie Mo 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
CoPark: 自己対戦による反応的駐車の学習
複数車両が互いに反応しながら高精度に駐車するための、残差ポリシーと自己対戦強化学習を組み合わせた手法を提案。事前計算された計画を基盤に、相手の脅威に応じて縦方向の制御を残差ヘッドに委譲しつつ横方向は基準に固定することで、精度と安全性を両立する。
原題: CoPark: Learning Reactive Parking via Self-Play / Jiarong Wei, Yanxing Chen, Sinuo Song 他
日本語で読む → - 論文VLA/強化学習ロボティクス
FORCE: 価値校正ウォームアップと自己蒸留による効率的なVLA強化学習ファインチューニング
VLAモデルの強化学習ファインチューニングを安定化・高速化する3段階フレームワークFORCEを提案。価値校正ウォームアップと自己蒸留でサンプル効率を改善し、シミュレーションと実機で成功率を大幅に向上させた。
原題: FORCE: Efficient VLA Reinforcement Fine-Tuning via Value-Calibrated Warm-up and Self-Distillation / Shuyi Zhang, Yunfan Lou, Hongyang Cheng 他
日本語で読む → - 論文強化学習ロボティクス
適応学習:表現ベース強化学習によるマルチタスクスキル転移
スペクトルMDP分解を用いてタスク非依存のコアとタスク固有の調整に価値関数を構造化し、マルチタスク強化学習の効率的な知識共有と新タスクへの転移を実現するフレームワークRepMT-SACを提案した。
原題: Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer / Aryan Naveen, Haitong Ma, Haldun Balim 他
日本語で読む → - 論文VLA/強化学習ロボティクス
本能を信じよ:視覚言語行動モデルのための信頼度駆動型テスト時強化学習
視覚言語行動モデル(VLA)が内部の評価能力を持ち、高信頼度の軌道が成功しやすいことを利用し、外部報酬なしで自己改善するテスト時強化学習フレームワークT^2VLAを提案した。
原題: Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models / Siyao Chen, Jiakang Yuan, Jiaxin Wang 他
日本語で読む →
PR・アフィリエイト広告
