日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.23571

RobotArena ∞: 実機からシミュレーションへの変換によるスケーラブルなロボットベンチマーク

RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation

シェア:XThreadsFacebookLINEはてブBluesky

実機の動画デモを生成モデルでシミュレーション環境に自動変換し、VLAポリシーを大規模かつ再現可能に評価するベンチマークフレームワークを提案。

詳しい要約

1. どんなもの?

- RobotArena $\infty$ は、vision-language-action (VLA) ポリシーを大規模シミュレーション環境で評価する新しいベンチマークフレームワーク。 - 実世界でのロボットポリシー評価が抱える labor-intensive・低速・不安全・再現困難という制約を、real-to-sim translation と online human feedback で克服することを狙う。 - 評価は vision-language-model による自動スコアリングと、crowdworkers からの scalable な human preference judgments を組み合わせる。

2. 先行研究と比べてどこがすごい?

- 従来の実世界テストは labor-intensive・slow・unsafe at scale・再現困難であり、ポリシーの複雑化に伴い障壁が増大する。 - 本手法は human involvement を面倒な scene setup・reset・safety supervision から軽量な preference comparisons へ転換する点が新しい。 - 大規模シミュレーション環境と online human feedback を組み合わせ、継続的に進化する再現可能・スケーラブルなベンチマークを実現する点が先行研究と異なる。

3. 技術・手法の肝は?

- vision-language models、2D-to-3D generative modeling、differentiable rendering を活用し、広く使われる robot datasets の video demonstrations をシミュレーション上の counterpart へ自動変換する。 - 生成した digital twins 内で VLA ポリシーを評価し、vision-language-model-guided scoring と crowdworkers による human preference judgments を併用する。 - ロバスト性評価のため、textures や object placements など複数軸でシミュレーション環境を系統的に perturb し、制御された変動下でポリシーの汎化を stress-test する。

4. どうやって有効だと検証した?

- 要旨からは不明。実世界で訓練された robot manipulation policies を対象とするベンチマークであることは述べられているが、具体的な実験結果や比較評価の詳細は要旨に含まれない。

5. 議論はある?

- 要旨からは不明。実世界テストの制約をシミュレーションと human feedback で代替する設計上の議論は示唆されるが、限界や課題についての具体的な議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。関連手法として vision-language-action (VLA) ポリシー、vision-language models、2D-to-3D generative modeling、differentiable rendering、real-to-sim translation に関する文献を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yash Jangir, Yidi Zhang, Pang-Chi Lo, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

The pursuit of robot generalists, agents capable of performing diverse tasks across diverse environments, demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. We introduce RobotArena Infinity, a new benchmarking framework that overcomes these challenges by shifting vision-language-action (VLA) evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated vision-language-model-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, including textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world-trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI