日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.15228

言葉から世界へ:対話型物理環境におけるLLMのベンチマーク

Words to World: Benchmarking LLMs in Interactive Physical Environments

シェア:XThreadsFacebookLINEはてブBluesky

ロボットアームやカメラ、センサーを接続した実世界システムをLLMに操作させ、物理フィードバックを解釈しながら行動を適応させる能力を評価するベンチマークを提案した。

詳しい要約

1. どんなもの?

- LLMを実世界の物理環境で評価するベンチマーク - 閉ループの物理インタラクションを測定 - モデルがharness systemを制御 - robotic arms, cameras, sensorsを含む - 各タスクで指示を出し、物理フィードバックを受け、状態を解釈し、次の行動を適応 - 言語理解を超えた能力を評価 - grounded perception, action planning, tool selection, spatial reasoning, feedback-driven correction, robustness to execution uncertainty

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは静的テキスト応答、オフラインツール呼び出し、シミュレーションタスクで評価 - 本研究は実物理環境での閉ループ相互作用を測定 - 実世界のrobotic arms, cameras, sensorsを制御 - 物理フィードバックに基づく適応を評価 - 言語推論を物理行動に変換する能力を特徴づけ

3. 技術・手法の肝は?

- harness systemを介してLLMが実世界コンポーネントを制御 - robotic arms, cameras, sensors - 各タスクでモデルは指示を発行 - 環境から物理フィードバックを受信 - 結果の状態を解釈 - 次の行動を適応 - 閉ループの物理インタラクションを実現

4. どうやって有効だと検証した?

- 代表的なLLMを用いた実験を実施 - 言語推論を物理行動に変換する能力を特徴づけ - 一般的な失敗モードを特定 - hallucinated state changes - poor recovery from unexpected outcomes - unstable long-horizon plans

5. 議論はある?

- 失敗モードの特定 - hallucinated state changes - poor recovery from unexpected outcomes - unstable long-horizon plans - ベンチマークの目的 - words, tools, physical worldを結ぶinteractive agentsとしてのLLM評価の系統的基盤を提供 - その他の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として以下が考えられる - 静的テキスト応答ベンチマーク - オフラインツール呼び出しベンチマーク - シミュレーションタスクベンチマーク - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinnan Dai, Kaiqi Yang, Yaxin Li, Cheng Luo, Wanli Li, Mingqing Xiao, Xinyang Jiang, Daoan Zhang, Kaitao Song, Fengze Liu, Zefan Cai, Caihua Shan

分類: cs.AI

原文アブストラクト

Words are increasingly becoming an interface for action: large language models (LLMs) can now invoke tools, operate devices, and make decisions that affect the physical world. However, current benchmarks largely evaluate LLMs through static text responses, offline tool calls, or simulated tasks, leaving open the question of how well they can act in real physical environments. We present a benchmark for measuring LLMs in closed-loop physical interaction, where models control a harness system connected to real-world components including robotic arms, cameras, and sensors. In each task, the model must issue instructions, receive physical feedback from the environment, interpret the resulting state, and adapt its next action accordingly. This setting evaluates capabilities beyond language understanding, including grounded perception, action planning, tool selection, spatial reasoning, feedback-driven correction, and robustness to execution uncertainty. Through experiments with representative LLMs, we characterize their ability to translate linguistic reasoning into physical actions and identify common failure modes such as hallucinated state changes, poor recovery from unexpected outcomes, and unstable long-horizon plans. Our benchmark aims to provide a systematic foundation for evaluating LLMs as interactive agents that connect words, tools, and the physical world.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI