論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/7/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
実用的な転移制約下での強化学習アルゴリズムの適合性再考
転移指向の強化学習において、アルゴリズムの適合性をサンプル効率だけでなく、実時間効率とドメインランダム化への頑健性の観点から評価し、PPOがSACやTD-MPC2よりも実時間で高性能な方策を学習できることや、ドメインランダム化が異なるパラダイムのアルゴリズムに同様の影響を与えることを示した。
原題: Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints / Hany Hamed, Abhishek Naik, Colin Bellinger 他
日本語で読む → - 論文手術ロボット/強化学習ロボティクス
RL-MACRO: マルチモーダル適応型ロボット開頭術のためのサイバネティック閉ループ知能フレームワーク
ロボット開頭術において、力覚・音響センサから隠れた温度状態を推定し、強化学習で切削パラメータを適応制御する閉ループ知能フレームワークを提案した。
原題: RL-MACRO: A Cybernetic Closed-Loop Intelligence Framework for Multimodal Adaptive Robotic Craniotomy / Xiao Zhang, Jiaxuan Li, Renzhen Le 他
日本語で読む → - 論文ロコ操作/触覚/強化学習ロボティクス
TAC-LOCO: 触覚情報を活用した四足ロボットの全身ロコ操作の統合制御
四足ロボットの動的ロコ操作において、触覚センサからの情報を潜空間表現に圧縮し、脚・腕・グリッパの統合制御に組み込む強化学習フレームワークを提案。実機でゼロショット展開し、把持力の低減と物体落下率の抑制を実証した。
原題: TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation / Muqun Hu, Yuhao Zhou, Kabir Ray Malik 他
日本語で読む → - 論文VLA/強化学習ロボティクス
ExToken: 効率的なVision-Language-Action強化学習のための構造化探索
VLAモデルの強化学習における探索停滞問題を分析し、軌跡の多様性がサンプル効率に重要であることを示した上で、オフラインのデモから得た離散的な行動プリミティブに基づいて探索を構造化するExTokenフレームワークを提案した。
原題: ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning / Yilun Kong, Yunpeng Qing, Guozheng Ma 他
日本語で読む → - 論文組立/LLM/強化学習ロボティクス
FORGE-plus: 凍結LLM監督による力予算を考慮した密着組立の回復
力条件付き強化学習による密着組立において、LLMが物体ごとの力上限を設定し、力の兆候に基づいて回復動作を選択する二層フレームワークを提案。シミュレーションで破損なしの挿入成功率と回復性能を実証した。
原題: FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor / Kyupaeck Jeff Rah, Midum Oh
日本語で読む → - 論文強化学習AI
インタラクティブなゲームプレイのためのコーチ可能なエージェント
強化学習エージェントに、実行時にスタイル(タスクの解き方の変更)を指示できるフレームワークを提案し、複数の複雑なドメインで有効性を示した論文。
原題: Coachable agents for interactive gameplay / Roberto Capobianco, Harm van Seijen, Nolan D. Bard 他
日本語で読む → - 論文安全強化学習ロボティクス
安全強化学習における効率的探索のための方向性制約
安全強化学習の性能と安全性のトレードオフを改善するため、制約境界に近づく動作のみに制約を適用する方向性制約を導入したATACOMフレームワークの拡張手法を提案した。
原題: Directional Constraints for Efficient Exploration in Safe Reinforcement Learning / Paolo Magliano, Puze Liu, Jan Peters 他
日本語で読む → - 論文強化学習/脚式ロボットロボティクス
WARL: 脚式ロボットのタスク非依存学習のためのレンチ拡張強化学習
脚式ロボットの強化学習において、関節空間に限定されていた行動空間に力とトルク(レンチ)を導入し、探索能力を拡張する新しい手法WARLを提案した。成功率ベースのカリキュラム機構と組み合わせ、最終的には関節制御のみで多様な地形やモータータスクをロバストに学習できることを示した。
原題: WARL: Wrench-Augmented Reinforcement Learning for Task-Agnostic Learning in Legged Robots / Keita Yoneda, Kento Kawaharazuka, Kei Okada
日本語で読む → - 論文強化学習/事前学習機械学習
局所動作が重要:ビデオからの強化学習事前学習のための分解・再構成パラダイム
ビデオから強化学習の事前学習を行う際、エージェント全体の動きではなく局所的な動きのパターンに着目し、分解と再構成のパラダイムを提案して、ロボット制御や操作タスクへの転移効率を向上させた。
原題: Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos / Jinwen Wang, Youfang Lin, Xiaobo Hu 他
日本語で読む → - 論文強化学習/ナビゲーションロボティクス
動的障害物環境での安全飛行のための予測リスク誘導強化学習
クアッドローターの動的環境での安全航行のため、将来の衝突リスクを予測するリスクマップを強化学習で自己予測させ、視覚ポリシーを誘導する手法を提案。シミュレーションから実機へのゼロショット転送に成功。
原題: Anticipatory Risk-Guided Reinforcement Learning for Safe Flight Through Dynamic Clutter / Yuchao Mei, Guohao Zhang, Luxia Ai 他
日本語で読む → - 論文強化学習/ベンチマークロボティクス
強化学習による到達回避タスクの学習:ベクトル化シミュレーションとベンチマーク
ロボットアームの到達回避タスクを、現実的な複雑さを保ったまま強化学習で解くためのベンチマークを初めて構築し、MuJoCo MJXとBraxによる並列化で高成功率を達成した。
原題: Learning Reach-Avoid Task with Reinforcement Learning: Vectorized Simulation and Benchmark / Jonas Weihing, Shahram Eivazi
日本語で読む → - 論文安全強化学習機械学習
物理情報ニューラルネットワークによる1自由度ヘリコプタシステムの安全強化学習の統合
強化学習の探索による安全性違反を防ぐため、物理モデルをPPOの損失関数に組み込み、将来の軌道予測に基づくペナルティで制約違反を減らす手法を提案した。
原題: Integrating Physics-Informed Neural Networks for Safe Reinforcement Learning in a 1-DoF Helicopter System / Georg Schäfer, Jakob Rehrl, Stefan Huber
日本語で読む → - 論文安全強化学習ロボティクス
制御アフィン動力学近似を用いた証明可能な安全モデルベース強化学習
制御アフィン構造を考慮した残差モデル不確かさを学習し、適応共形予測で不確かさを定量化して制御バリア関数による安全保証を実現する強化学習フレームワークを提案した。
原題: Certifiable Safe Model-Based Reinforcement Learning with Control-Affine Dynamics Approximation / Hao Zhou, Yanze Zhang, Cameron Reid 他
日本語で読む → - 論文VLA/強化学習ロボティクス
WCM: 視覚・言語・行動強化学習のためのワールドクリティックモデル
ロボット操作のためのVLAモデルの強化学習後訓練において、観測履歴を扱うクリティックの表現が時間的ダイナミクスを捉えられない問題を解決するため、将来の潜在状態を予測しつつ価値を推定する軽量なWorld Critic Modelを提案した。
原題: WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning / Senyu Fei, Xiaopeng Yu, Siyin Wang 他
日本語で読む → - 論文強化学習/カリキュラム学習/LLMロボティクス
LEACL: LLM強化による長期的操作タスクの強化学習のための自動カリキュラム学習
大規模言語モデル(LLM)を用いて複雑なタスクをサブタスクに分解し、各サブタスクの仕様を自動生成することで、スパース報酬のみで強化学習を効率的に行う自動カリキュラム学習フレームワークを提案した。
原題: LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks / Faraz Heravi, James Ouyang, Zifan Xu 他
日本語で読む → - 論文VLA/強化学習ロボティクス
最適輸送Q学習によるフローポリシーの操縦と高速化
ロボットの経験を用いたRL後訓練により、準最適なフローベースポリシーを微調整・高速化する最適輸送Q学習(OTQL)を提案した。
原題: Optimal Transport Q-Learning for Flow Policy Steering and Acceleration / Andreas Sochopoulos, Esmeralda S. Whitammer, Nikolaos Tsagkas 他
日本語で読む → - 論文強化学習ロボティクス
CoRe: 視覚言語モデルフィードバックを用いた選好整合強化学習のための複合報酬
強化学習における報酬設計の課題に対し、タスク知識に基づく形式的報酬と観測から学習する残差報酬を、視覚言語モデルのフィードバックで統合するハイブリッドフレームワークCoReを提案し、人間の介入なしに選好整合的なポリシー学習を実現した。
原題: CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning / Hexian Ni, Tao Lu, Yinghao Cai
日本語で読む → - 論文強化学習ロボティクス
疎な報酬・長期的課題のための階層型ソフトアクター批判
疎な報酬と長い時間軸を持つ強化学習タスクに対し、高レベル戦略と低レベル連続制御を組み合わせた階層型強化学習フレームワークを提案し、SAR-2データセットで有効性を実証した。
原題: Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning / Zahra Abdalla Elashaal, Afef Hfaiedh, Nahla Khraief 他
日本語で読む → - 論文強化学習機械学習
状態認識型探索を備えたデュアルフロー強化学習
連続制御タスクにおいて、報酬分布と方策分布をフローマッチングで同時にモデル化し、多峰性の探索を改善する新しいアクタークリティック手法を提案した。
原題: Dual-Flow Reinforcement Learning with State-Aware Exploration / Qijun Li, Zheng Fu, Qi Song 他
日本語で読む → - 論文強化学習機械学習
万能解を超えて:オフライン事前知識を用いた診断駆動型オンライン強化学習
オフライン事前知識の活用が強化学習に不可欠となる一方、その有効性は環境や学習過程で変化するため、単一の管理手法は最適でないと主張し、展開固有の証拠に基づく診断駆動型の緊張管理への転換を提案する論文。
原題: Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors / Guozheng Ma, Lu Li, Zilin Wang 他
日本語で読む → - 論文強化学習機械学習
ベルマン方程式の逆転:Q値から世界モデルへ
価値ベースの強化学習エージェントが十分な報酬関数で訓練されると、暗黙的に環境の遷移モデルを符号化することを証明し、そのモデルを抽出するP学習を提案した。
原題: Inverting the Bellman Equation: From $Q$-Values to World Models / Alistair Letcher, Mattie Fellows, Alexander D. Goldie 他
日本語で読む → - 論文強化学習/探索機械学習
報酬なし事前学習:占有被覆最大化による強化学習
報酬が疎な環境で、報酬を使わずに探索ポリシーを事前学習し、下流タスクで迅速に適応する手法ROVERを提案。占有度のエントロピー最大化と仮想シンク状態で探索を促進する。
原題: Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization / Marco Pratticò, Pietro Novelli, Massimiliano Pontil 他
日本語で読む → - 論文強化学習AI
報酬をエージェントとして捉える身体化ワールドモデルの学習
身体化ワールドモデルにおいて、報酬をエージェントとして能動的に評価する枠組みと、動的差分に基づく探索多様化手法を導入し、報酬ハッキングを抑えつつ多様な行動生成を可能にする強化学習手法を提案した。
原題: Reward as An Agent for Embodied World Models / Pu Li, Zhigang Lin, Qiang Wu 他
日本語で読む → - 論文メタ強化学習AI
メタ強化学習における知識再利用フレームワーク
メタ強化学習で、単純化したエージェントで学習したタスク知識を異なる形態のエージェントに転移するフレームワークを提案し、追従誤差を大幅削減しデータ効率を向上させた。
原題: Knowledge Reutilization in Meta-Reinforcement Learning / Yuan Meng, Bo Wang, Juan de los Rios Ruiz 他
日本語で読む → - 論文ヒューマノイド操作/VLA/強化学習ロボティクス
ROVE: 強化学習によるヒューマノイド操作のための人間介入の活用
不完全な人間介入データを用いてヒューマノイドVLAモデルを強化学習で訓練するフレームワークROVEを提案。楽観的価値推定とクロスエンボディ映像を活用し、高価値な行動を優先学習することで実世界の接触を伴う操作タスクで性能を向上させた。
原題: ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning / Wei Xiao, Weiliang Tang, Yuying Ge 他
日本語で読む → - 論文強化学習機械学習
方向条件付きポリシー:構成部分ゴールスコアリングによるオンライン目標条件付き強化学習
目標までの距離の勾配のみに依存する方向条件付きポリシーを提案し、オンライン目標条件付き強化学習の性能を向上させた。
原題: Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning / Swaminathan S K, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan 他
日本語で読む → - 論文シミュレーション/強化学習画像認識
食品破壊シミュレーションにおける逆材料推定のための潜在空間強化学習
食品の破壊挙動から材料パラメータを推定する逆問題を、強化学習を用いて解く手法を提案。オレンジの皮むきを例に、目標条件付きポリシーが単一の順伝播で材料推定を行い、CMA-ESによる改良と組み合わせることで高精度な推定を実現した。
原題: Latent Space Reinforcement Learning for Inverse Material Estimation in Food Fracture Simulation / Adrian Ramlal, Yuhao Chen, John S. Zelek
日本語で読む → - 論文モデルベース強化学習機械学習
BRICKS-WM: インターフェース合成力学による構造化世界モデルの再利用性構築
モデルベース強化学習において、環境ダイナミクスをエージェントと背景のモジュールに分離し、学習済み背景モジュールを再利用可能にする構造化世界モデルフレームワークを提案した。
原題: BRICKS-WM: Building Reusability via Interface Composition Kinetics for Structured World Models / Shaowei Zhang, Jiahan Cao, Xunlan Zhou 他
日本語で読む → - 論文強化学習機械学習
大規模並列オン方策強化学習のための信頼領域拡散ポリシー
大規模並列シミュレーションを用いたオン方策強化学習で拡散ポリシーを安定して訓練する手法TruDiを提案し、多様なベンチマークで性能を実証した。
原題: Trust-Region Diffusion Policies for Massively Parallel On-Policy RL / Huy Le, Onur Celik, Denis Blessing 他
日本語で読む → - 論文安全強化学習機械学習
証明可能な安全性を備えつつスケーラブルな強化学習
安全な強化学習において、学習したバックアップポリシーを用いて暗黙的な制御不変集合を生成し、微分可能な射影層で安全性を厳密に保証する2段階フレームワークPS2-RLを提案した。
原題: Provably Safe, Yet Scalable Reinforcement Learning / Kai S. Yun, Zeyang Li, Navid Azizan
日本語で読む →
PR・アフィリエイト広告
