日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA評価ベンチマークarXiv:2601.11421

グレートマーチ100:身体性AIエージェント評価のための100の詳細指向タスク

The Great March 100: 100 Detail-oriented Tasks for Evaluating Embodied AI Agents

シェア:XThreadsFacebookLINEはてブBluesky

ロボット学習の評価に向けて、多様な相互作用とロングテール行動を網羅する100の詳細設計タスク「GM-100」を提案し、複数のVLAモデルの性能差を明確に評価できることを示した。

詳しい要約

1. どんなもの?

- 100個の詳細指向タスクからなるベンチマーク「Great March 100 (GM-100)」を提案。 - ロボット学習・模倣学習の評価用で、多様な相互作用とlong-tail behaviorをカバー。 - 異なるロボットプラットフォームで大量のtrajectory dataを収集し、複数のbaseline modelを評価。 - ロボット学習のOlympicsへの第一歩と位置づけ。

2. 先行研究と比べてどこがすごい?

- 既存のデータセットやタスク設計は体系的考慮や原則に欠けると指摘。 - 少数の共通タスクでの評価が、異なる手法の差別的性能を正確に反映するか疑問視。 - GM-100はhuman-object interaction primitivesとobject affordancesの洞察を組み合わせ、既存タスク設計を体系的に分析・拡張。 - 多様性と複雑性を促進し、VLAモデルの性能を効果的に区別できる点が新しい。

3. 技術・手法の肝は?

- 100のタスクを体系的に設計。human-object interaction primitivesとobject affordancesに基づく。 - 既存タスク設計の分析と拡張により、多様な相互作用とlong-tail behaviorを網羅。 - 異なるロボットプラットフォームで大量のtrajectory dataを収集。 - 複数のbaseline modelを評価する枠組みを提供。

4. どうやって有効だと検証した?

- 異なるロボットプラットフォームでtrajectory dataを収集し、複数のbaseline modelを評価。 - 実験結果から、GM-100タスクが1)実行可能であり、2)現行のVLAモデルの性能を効果的に区別できる十分な難易度を持つことを示した。

5. 議論はある?

- 既存データセットとタスク設計の体系的考慮の欠如を問題提起。 - 少数タスク評価の妥当性に疑問を呈し、GM-100で多様性と複雑性を促進。 - 具体的な議論の詳細や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてrobot learning、imitation learning、VLA models、human-object interaction primitives、object affordancesが挙げられる。 - 同分野の定番としてbehavior cloningやtransformer-based VLAモデルが考えられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyu Wang, Chenyuan Liu, Yushun Xiang, Runhao Zhang, Qingbo Hao, Hongliang Lu, Houyu Chen, Zhizhong Feng, Kaiyue Zheng, Dehao Ye, Xianchao Zeng, Xinyu Zhou, Boran Wen, Jiaxin Li, Mingyu Zhang, Kecheng Zheng, Qian Zhu, Ran Cheng, Yong-Lu Li

分類: cs.RO, cs.AI

原文アブストラクト

Recently, with the rapid development of robot learning and imitation learning, numerous datasets and methods have emerged. However, these datasets and their task designs often lack systematic consideration and principles. This raises important questions: Do the current datasets and task designs truly advance the capabilities of robotic agents? Do evaluations on a few common tasks accurately reflect the differentiated performance of various methods proposed by different teams and evaluated on different tasks? To address these issues, we introduce the Great March 100 (\textbf{GM-100}) as the first step towards a robot learning Olympics. GM-100 consists of 100 carefully designed tasks that cover a wide range of interactions and long-tail behaviors, aiming to provide a diverse and challenging set of tasks to comprehensively evaluate the capabilities of robotic agents and promote diversity and complexity in robot dataset task designs. These tasks are developed through systematic analysis and expansion of existing task designs, combined with insights from human-object interaction primitives and object affordances. We collect a large amount of trajectory data on different robotic platforms and evaluate several baseline models. Experimental results demonstrate that the GM-100 tasks are 1) feasible to execute and 2) sufficiently challenging to effectively differentiate the performance of current VLA models. Our data and code are available at https://rhos.ai/research/gm-100.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI