日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/組み込みシステムarXiv:2606.13891

TetraRL: オンデバイス深層強化学習システムのための自己適応型ランタイム

TetraRL: A Self-Adaptive Runtime for On-Device Deep Reinforcement Learning Systems

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、リソース制約のある組み込みデバイス上でDRLを実行する際に、リアルタイム性、報酬、メモリ、エネルギーという4つの目的を動的にバランスする自己適応型ランタイムフレームワークTetraRLを提案する。

詳しい要約

1. どんなもの?

- 組込み機器上でDRLの訓練と推論を行うための自己適応ランタイムフレームワークTetraRLを提案。 - 対象はautonomous vehicles, drones, mobile robotsなど。 - 4目的(real-time performance, task reward, memory utilization, energy consumption)を同時に扱う。 - NVIDIA Jetson AGX OrinとOrin Nanoに実装し評価。

2. 先行研究と比べてどこがすごい?

- 従来のmulti-objective手法は資源制約違反や信頼性低下を招く可能性がある。 - 4目的を個別最適化するとsuboptimalになる問題に対処。 - TetraRLは4目的を統合最適化し、制約強制のためのOverride Layerを備える。 - 単一の学習済みpolicyで実行時に最適化目標を切替可能。

3. 技術・手法の肝は?

- embedded DRLをreal-time, reward, RAM, reserve (energy)の4目的統合最適化問題として定式化。 - preference-conditioned reinforcement learning controllerでトレードオフ空間を動的に探索。 - unified resource-management abstraction, hardware-aware DVFS control, runtime Override Layerを統合。 - 制約強制を堅牢化する仕組みを備える。

4. どうやって有効だと検証した?

- NVIDIA Jetson AGX OrinとOrin Nano上に実装。 - 多様なDRL環境で評価。 - 4目的のバランス、実行時preference変化下での競争力あるトレードオフ、無視できるオーバーヘッドを確認。 - 単一policyで実行時切替可能な最適化目標をサポートすることを示す。

5. 議論はある?

- 4目的の tightly coupled なバランスが根本的課題。 - 従来のmulti-objective手法は資源制約違反や信頼性低下の恐れ。 - TetraRLは統合最適化とOverride Layerで対処。 - 詳細な限界や失敗ケースは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、on-device DRL, multi-objective reinforcement learning, DVFS, resource-constrained embedded systemsに関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zexin Li, Soheil Shirvani, Cong Liu

分類: eess.SY

原文アブストラクト

Autonomous robotic systems, including autonomous vehicles, drones, and mobile robots, increasingly rely on on-device Deep Reinforcement Learning (DRL) to adapt to dynamic environments. Unlike cloud-based solutions, embedded DRL must perform training and inference directly on resource-constrained hardware while maintaining timely decision-making. This creates a fundamental challenge: balancing four tightly coupled objectives, real-time performance, task reward, memory utilization, and energy consumption. Optimizing these objectives independently often leads to suboptimal behavior, while conventional multi-objective methods may violate resource constraints and compromise reliability. This paper presents TetraRL, a self-adaptive runtime framework for tetra-objective on-device DRL. TetraRL formulates embedded DRL as a unified optimization problem over real-time, reward, RAM, and reserve (energy) objectives, and employs a preference-conditioned reinforcement learning controller to dynamically navigate the resulting trade-off space. The framework integrates a unified resource-management abstraction, hardware-aware DVFS control, and a runtime Override Layer for robust constraint enforcement. We implement TetraRL on NVIDIA Jetson AGX Orin and Orin Nano platforms and evaluate it across diverse DRL environments. Results show that TetraRL effectively balances all four objectives, achieves competitive trade-offs under varying runtime preferences, and incurs negligible overhead. Moreover, a single trained policy can support runtime-switchable optimization goals, providing a practical foundation for resource-aware and self-adaptive on-device DRL.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI