日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.10895

ReactHuman: 身体性マルチモーダルLLMのための物理に基づく人間らしい反応的意思決定ベンチマーク

ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

シェア:XThreadsFacebookLINEはてブBluesky

家庭内の突発的な物理的危険に対し、マルチモーダルLLMが人間のように即座に反応できるかを評価する、物理シミュレーションに基づく初のベンチマークを提案し、代表的モデルの反応的安全性が未解決であることを示した。

詳しい要約

1. どんなもの?

- 家庭内の突発的な物理的危険(滑る皿を掴む、落ちる包丁を避ける等)に対する反応的意思決定を評価する初のベンチマーク - 評価対象の MLLM はシミュレーションされた humanoid の brain として機能 - 17 の event families、1,000 以上の bit-for-bit 再現可能な scene を含む - 240 Hz の rigid-body simulation に基づく annotation-free な正確 ground truth を提供 - 外見と物理が矛盾する adversarial objects(foam anvil、steel apple)を含む - reasonable・safe・physically grounded の 3 軸を評価する 5 指標スイートを設計 - コミットされた plan を物理的に実行し、決定に観測可能な結果を与える

2. 先行研究と比べてどこがすごい?

- 既存評価は video 上の question answering で直感的物理を passive に調べるか、navigation や rearrangement のような意図的・長期的タスクを対象 - 物理理解を即時・安全クリティカルな行動に変換できるかを測るものは無かった - ReactHuman は human-like reactive decision-making に特化した初の physics-grounded benchmark - 単なる QA ではなく、決定を物理実行して結果を観測する点が先行研究と異なる - 外見が物理と矛盾する adversarial objects を含む点も新規

3. 技術・手法の肝は?

- 240 Hz rigid-body simulation により annotation-free で正確な ground truth を生成 - 17 event families、1,000 以上の bit-for-bit 再現可能な scene を構築 - 評価 MLLM を simulated humanoid の brain として動作させる - 5 指標スイートで reasonable・safe・physically grounded の 3 軸を採点 - コミットされた plan を物理的に実行し、観測可能な結果を評価に反映 - foam anvil や steel apple など外見と物理が矛盾する adversarial objects を導入

4. どうやって有効だと検証した?

- 7 つの代表的な MLLM を harness で評価 - 結果、reactive safety は未解決で、約 3 hazards に 1 つを誤処理 - 観測 scene ではなく固定 disposition から行動 - 外見を motion より信頼 - 選択行動が正しくても meter scale で interception points を外す - これらの失敗は model scale では縮小しない

5. 議論はある?

- reactive safety は far from solved であり、model scale では改善しないと指摘 - 失敗モードとして固定 disposition、外見優先、interception point の meter scale 誤りを挙げる - ReactHuman は fine-grained diagnosis と scalable training signal を提供 - 具体的な議論や限界の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存研究: video 上の question answering による intuitive physics 評価、navigation や rearrangement などの deliberate long-horizon タスク - 関連手法: MLLM、embodied agents、rigid-body simulation - 同分野の定番として embodied AI の benchmark や multimodal LLM の評価研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yizhan Li, Jianxin You, Mengyang Xiong, Yinhuan Chen, Zicheng Zhao, Dekun Wu, Dongqing Zhang, Bang Liu

分類: cs.RO, cs.AI

原文アブストラクト

Reacting to sudden physical hazards (catching a slipping plate, dodging a falling knife) is both a meaningful test of embodied intelligence and a hard requirement for deploying multimodal large language models (MLLMs) as the decision coreof household robots. Existing evaluations, however, probe intuitive physics passively through question answering over videos, or target deliberate, long-horizon tasks such as navigation and rearrangement; none measure whether a model can turn physical understanding into immediate, safety-critical action. We introduce ReactHuman, the first physics-grounded benchmark for human-like reactive decision-making, in which the evaluated MLLM acts as the brain of a simulated humanoid facing sudden household hazards; it spans 17 event families and over 1,000 bit-for-bit reproducible scenes with exact, annotation-free ground truth derived from 240 Hz rigid-body simulation, including adversarial objects whose appearance contradicts their physics (a foam anvil, a steel apple). We further design a five-metric suite that scores each reaction along three axes: reasonable, safe, and physically grounded. We physically execute every committed plan so that decisions have observable consequences. With this harness we evaluate seven representative MLLMs. Results show that reactive safety is far from solved: models mishandle roughly one hazard in three, act from fixed dispositions rather than the observed scene, trust appearance over motion, and miss interception points at meter scale even when the chosen action is correct; none of these failures shrink with model scale. ReactHuman thus offers both a fine-grained diagnosis and a scalable training signal toward physically grounded, safety-aware embodied agents. The benchmark can be found here: https://huggingface.co/datasets/Alan123/reacthuman-benchmark-scaled

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI