日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.21860

Butter-Bench:LLM制御ロボットの実践的知能を評価するベンチマーク

Butter-Bench: Evaluating LLM Controlled Robots for Practical Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

LLMが制御するロボットの実践的知能を評価するベンチマークを提案し、人間とLLMの性能差や空間計画・社会的理解の課題を明らかにした。

詳しい要約

1. どんなもの?

- Butter-Bench は LLM 制御ロボットの practical intelligence を評価する benchmark - practical intelligence を『物理世界の messiness を navigate する能力』と定義 - 現行 SOTA の hierarchical architecture を想定 - LLM が high-level reasoning を担当 - VLA (Vision Language Action) model が low-level control を担当 - Butter-Bench は LLM 部分を VLA から切り離して単独評価する

2. 先行研究と比べてどこがすごい?

- 従来の LLM 評価は analytical intelligence を問うものが中心で、人間を上回ってきた - 本研究は物理世界での practical intelligence に焦点を当てた点が新しい - 結果として人間が LLM を大きく上回ることを示した - 最高性能 LLM で 40% - 人間の平均は 95% - embodied reasoning 向けに fine-tune された LLM も評価し、score が改善しないと結論

3. 技術・手法の肝は?

- hierarchical architecture のうち LLM 部分のみを VLA から分離して評価する設計 - practical intelligence を測る課題群で LLM を評価 - 評価対象に embodied reasoning 向け fine-tune 済み LLM も含める - 具体的なタスク構成・データセット詳細は要旨からは不明

4. どうやって有効だと検証した?

- Butter-Bench 上で LLM の score を測定し人間の score と比較 - 最高 LLM 40%、人間平均 95% - 失敗傾向の分析 - multi-step spatial planning と social understanding で LLM が最も苦戦 - embodied reasoning 向け fine-tune の効果を比較し、score 改善なしと確認

5. 議論はある?

- LLM は analytical な課題で人間を超えても practical intelligence では大きく劣る - 特に multi-step spatial planning と social understanding が弱点 - embodied reasoning 向け training が Butter-Bench score を改善しないという知見 - 要旨からは不明: benchmark の詳細設計、サンプル規模、VLA との統合時の影響、限界の議論

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - hierarchical architecture を用いる SOTA ロボティクスシステム - VLA (Vision Language Action) model - embodied reasoning 向けに fine-tune された LLM - 関連する定番として Embodied AI の benchmark や LLM planning 研究も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Callum Sharrock, Lukas Petersson, Hanna Petersson, Axel Backlund, Axel Wennström, Kristoffer Nordström, Elias Aronsson

分類: cs.RO, cs.AI

原文アブストラクト

We present Butter-Bench, a benchmark evaluating large language model (LLM) controlled robots for practical intelligence, defined as the ability to navigate the messiness of the physical world. Current state-of-the-art robotic systems use a hierarchical architecture with LLMs in charge of high-level reasoning, and a Vision Language Action (VLA) model for low-level control. Butter-Bench evaluates the LLM part in isolation from the VLA. Although LLMs have repeatedly surpassed humans in evaluations requiring analytical intelligence, we find humans still outperform LLMs on Butter-Bench. The best LLMs score 40% on Butter-Bench, while the mean human score is 95%. LLMs struggled the most with multi-step spatial planning and social understanding. We also evaluate LLMs that are fine-tuned for embodied reasoning and conclude that this training does not improve their score on Butter-Bench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI