日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント強化学習arXiv:2507.21638

Assistax: 支援ロボティクス向けマルチエージェント・ハードウェア加速強化学習ベンチマーク

Assistax: A Multi-Agent Hardware-Accelerated Reinforcement Learning Benchmark for Assistive Robotics

シェア:XThreadsFacebookLINEはてブBluesky

JAXとMuJoCo-MJX上でGPU加速された支援ロボティクスタスク群を提供し、人間役のヒューマノイドエージェントとロボットをマルチエージェント強化学習で共訓練できるベンチマークを構築した。

詳しい要約

1. どんなもの?

- Assistaxは、JAXとMuJoCo-MJX上に構築されたGPU加速のassistive robotics向けタスクスイート - 高スループットでスケーラブルなMARLベンチマーク - シミュレートされた人間パートナーとして能動的なhumanoid agentを含み、ロボットと共にMARLで訓練可能 - 人間-ロボット相互作用をAd-Hoc Teamwork (AHT)問題として定式化 - ロボットのpolicyは、多様な障害や選好を持つ未見の人間に汎化する必要がある - コードは https://github.com/assistive-autonomy/assistax で公開

2. 先行研究と比べてどこがすごい?

- 多くの一般的なRL環境は複雑なロボティクス領域の知見を得るには単純すぎる点を指摘 - 多くのロボティクスシミュレーションはRLにはスループットが低すぎる - ほとんどのsimulatorはロボットを孤立したagentとして扱い、multi-agent相互作用を対象としない - 家庭支援や介護のような実世界タスクは本質的にmulti-agent - Assistaxはこれらの制限に対処し、GPU加速・高スループット・スケーラブルなassistive roboticsタスク群を提供 - 他のベンチマークと異なり、反応性のあるMARL事前学習済みhumanoid policyをHugging Faceで公開し、AHT研究の反復を高速化

3. 技術・手法の肝は?

- JAXとMuJoCo-MJXに基づくGPU加速シミュレーション - シミュレートされた人間パートナーとして能動的なhumanoid agentを組み込み、MARLでロボットと共に訓練 - 人間-ロボット相互作用をAd-Hoc Teamwork (AHT)として定式化 - ロボットpolicyは、異なる障害や選好を持つ未見の人間への汎化が求められる - AHTベンチマークパイプライン - MARLを用いて多様なhumanoidパートナー集団を事前学習 - 保留したhumanoid policy集合との協調能力をロボットpolicyについて評価 - 反応性のあるMARL事前学習済みhumanoid policyをHugging Faceで公開

4. どうやって有効だと検証した?

- ハードウェア加速により、単一GPU上で同等のCPUベース環境と比べ最大412倍高速なopen-loop simulationを達成 - AHTパイプラインにより、新規の選好組み合わせを持つ未見パートナーに対して既存RLアルゴリズムにcoordination gapがあることを明らかにした - 詳細な評価設定・指標・タスク構成は要旨からは不明

5. 議論はある?

- 既存RLアルゴリズムは、新規の選好組み合わせを持つ未見パートナーとの協調にgapがあることをAHTパイプラインが示す - 実世界の家庭支援・介護タスクが本質的にmulti-agentであるという動機付け - 限界・失敗事例・計算コストやsim-to-realの議論は要旨からは不明

6. 次に読むべき論文は?

- Ad-Hoc Teamwork (AHT)に関する研究 - MARLのpopulation-based trainingやpartner modelingに関する手法 - MuJoCo-MJXおよびJAXベースのGPU加速RLシミュレーション - 比較対象として言及されるCPUベースのロボティクス環境 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leonard Hinckeldey, Elliot Fosong, Rimvydas Rubavicius, Elle Miller, Trevor McInroe, Fan Zhang, Patricia Wollstadt, Stefano V. Albrecht, Subramanian Ramamoorthy

分類: cs.AI, cs.LG, cs.MA, cs.RO

原文アブストラクト

As embodied autonomous systems capable of assisting humans in daily activities remain a major goal for robotics, efficient and appropriate reinforcement learning (RL) simulation testbeds are increasingly important. Many common RL environments are too simple to provide insight into complex robotics domains, and many robotics simulations have throughput too low for RL. Very few simulators target multi-agent interactions: most treat the robot as an isolated agent, yet real-world tasks such as home assistance and caretaking are inherently multi-agent. Assistax addresses these limitations by providing a high-throughput, scalable suite of GPU-accelerated assistive robotics tasks built on JAX and MuJoCo-MJX, and includes an active humanoid agent as a simulated human partner, trainable alongside the robot using multi-agent RL (MARL). Beyond its use as a MARL benchmark, we formulate the human-robot interaction as an Ad-Hoc Teamwork (AHT) problem, where the robot's policy must generalise to unseen humans with varying disabilities and preferences. To this end, we provide an extensive AHT benchmarking pipeline: we use MARL to pre-train a diverse population of humanoid partners, and evaluate robot policies' ability to coordinate with a withheld set of humanoid policies. In contrast to other benchmarks, we also release reactive MARL-pre-trained humanoid policies via Hugging Face, enabling faster iteration in AHT research. With hardware acceleration, Assistax achieves up to 412$\times$ faster open-loop simulation than comparable CPU-based environments on a single GPU. Our AHT pipeline reveals a coordination gap for existing RL algorithms on unseen partners with novel preference combinations. This RL-native test suite for embodied multi-agent interaction provides a practical benchmark for advancing RL in assistive care. Code is available at: https://github.com/assistive-autonomy/assistax.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI