日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体性ベンチマークarXiv:2511.17649

SWITCH: 長期的身体環境における実体インターフェースのモデリングと操作のベンチマーク

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

シェア:XThreadsFacebookLINEはてブBluesky

家電パネルやエレベーターなどの実体操作インターフェースを対象に、言語指示から行動・状態変化の追跡・結果検証・エラー回復までの閉ループ推論を評価するベンチマークSWITCHを提案。

詳しい要約

1. どんなもの?

- SWITCHは、実世界のegocentric環境におけるTangible control interfaces (TCIs)(家電パネル、リモコン、エレベータ、埋め込みGUIなど)を対象としたclosed-loop interactive reasoningのbenchmark - 1,170本の時間的に相互作用する動画を多様な機能カテゴリで収録 - 指示、行動、状態遷移、結果、回復行動を時間軸に沿って構造化注釈付け - generative world modelingの検証のため、video generation modelsもinteraction-centered tasksで評価 - LLM-as-judgeとhuman evaluationの両方を用いる

2. 先行研究と比べてどこがすごい?

- 既存benchmarkは主にopen-loop perceptionやsingle-step action executionを評価 - それらは連続的なinteraction、feedback、correctionのサイクルを捉えられていない - SWITCHはclosed-loopのinteractive reasoningを評価対象とする点が新しい - 時間的に変化する状態追跡や意図した結果の検証を含む点で先行研究と異なる - 具体的な比較対象の研究名は要旨からは不明

3. 技術・手法の肝は?

- TCIsとの相互作用を、言語のvisual observationsへのgrounding、action実行、時間的状態変化の追跡、結果検証の連続サイクルとして定式化 - 1,170本のtemporally interactive videosにinstruction、action、state transition、outcome、recovery behaviorを構造化注釈 - closed-loop interactive reasoningを測るbenchmark設計 - video generation modelsにはinteraction-centered tasksを課し、LLM-as-judgeとhuman evaluationで評価 - 詳細なモデル設計や学習手法は要旨からは不明

4. どうやって有効だと検証した?

- frontier proprietaryおよびopensourceのmultimodal modelsで実験 - fine-grained visual-temporal perception、outcome verification、error recoveryに持続的な弱点があることを示す - video generation modelsをLLM-as-judgeとhuman evaluationの両方で評価 - これによりSWITCHがclosed-loop embodied intelligenceのtestbedとなることを示唆 - 具体的な被験モデル名や数値結果は要旨からは不明

5. 議論はある?

- 現行のmultimodal modelsがfine-grained visual-temporal perception、outcome verification、error recoveryで弱い点を指摘 - open-loop評価では捉えられないclosed-loopの連続サイクルの重要性を議論 - video generation modelsのworld modeling評価におけるLLM-as-judgeとhuman evaluationの併用 - 具体的な限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は不明 - 関連手法としてopen-loop perceptionやsingle-step action executionを評価する既存embodied benchmarks - multimodal models(frontier proprietaryおよびopensource)のembodied reasoning評価 - video generation modelsのworld modeling評価 - LLM-as-judgeおよびhuman evaluationを用いた評価手法 - 同分野の定番としてembodied AI向けのvision-language-action benchmarks

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juntao Cheng, Wanyue Zhang, Zhiwei Yu, Shuo Ren, Zheqi He, Shaoxuan Xie, Guocai Yao, Jieru Lin, Börje F. Karlsson, Jiajun Zhang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Tangible control interfaces (TCIs), such as appliance panels, remotes, elevators, and embedded GUIs, are a fundamental component of everyday human-built environments. Interacting with these interfaces requires agents not only to ground language in visual observations,but also to execute actions, track temporally evolving state changes, and verify whether intended outcomes have been achieved. However, existing benchmarks predominantly evaluate open-loop perception or single-step action execution, failing to capture this continuous cycle of interaction, feedback, and correction. We introduce SWITCH, a benchmark for closed-loop interactive reasoning with TCIs in realistic egocentric environments1. SWITCH comprises 1,170 temporally interactive videos across diverse functional categories, providing structured annotations of instructions, actions, state transitions, outcomes, and recovery behaviors over time. To probe generative world modeling, SWITCH also evaluates video generation models on interaction-centered tasks using both LLM-as-judge and human evaluation2.Experiments with frontier proprietary and opensource multimodal models reveal persistent weaknesses in fine-grained visual-temporal perception, outcome verification, and error recovery, highlighting SWITCH as a testbed for closed-loop embodied intelligence.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI