RoboChrono：ストリーミングタスク理解のための実ロボットベンチマーク

- 実ロボットの実行と素手の人間記録から構築した streaming task understanding 用 benchmark - 39 scenarios、34,713 evaluation instances を含む - recognition、alignment、temporal grounding に分類される7タスクを評価 - action understanding/anticipation、visual correspondence、temporal ordering、action localization を対象 - 18 vision-language models の zero-shot 評価を実施

- 従来の集約スコア中心の評価ではなく、能力別の診断を可能にする点が特徴 - 実ロボット実行と人間の素手記録を組み合わせた benchmark は要旨では他に言及なし - 強い visual matching が強い temporal ordering と一致しないことを示す - 次行動予測が視覚証拠なしでも task/action priors で支えられ得ることを示唆 - 先行研究との具体的比較は要旨からは不明

- 実ロボット実行と complementary な bare-hand human recordings からデータ構築 - 7タスクを recognition、alignment、temporal grounding にグループ化 - 18 vision-language models を zero-shot で評価 - 5 open-weight models に対し matched questions で input ablations を実施 - 視覚観測除去時の精度変化を測定

- 18 vision-language models の zero-shot 評価でタスク間差を確認 - GPT-6-Astra は Frame Matching 98.3%、Frame Ordering 68.3% - RynnBrain1.1-122B-A10B は 95.4% と 32.9% でより大きな乖離 - 5 open-weight models の input ablations で視覚依存性を検証 - 視覚除去で Current Action Recognition は 22.1 ポイント低下、Next Action Prediction は 0.7 ポイント低下

- 強い visual matching が強い temporal ordering と常に一致するわけではない - next-action prediction は視覚証拠がなくても task/action priors で支持され得る - 集約スコアを超えた capability-specific evaluation の必要性を指摘 - robot manipulation の task understanding 評価における診断的設定を提供 - 限界や今後の課題の詳細は要旨からは不明

- GPT-6-Astra - RynnBrain1.1-122B-A10B - その他 zero-shot 評価された vision-language models - input ablations に用いられた 5 open-weight models - streaming task understanding や robot manipulation の関連 benchmark