PHP7+MySQL大数据慢查询页面的cron定时优化架构与实现
慢统计页面的Cron预计算改造落地方案
你提出的「页面不执行实时慢查询、直接展示定时任务预计算的结果」的思路,完全可以把页面加载耗时压缩到毫秒级,远低于3-4秒的目标要求,具体落地可以按照以下步骤实现:
一、预计算结果的存储方案设计
结合你“将统计结果存入独立PHP文件、由cron定时更新”的初步想法,这个方案对现有系统侵入性最低,不需要引入额外依赖,落地时注意规避几个常见问题:
- 不要在缓存文件里零散定义全局变量,建议存结构化的返回数组,方便统一读取和管理
- 缓存文件要单独放在独立的运行时目录(比如
runtime/),不要和业务源码混放,避免和业务代码互相干扰 - 存储时一定要做原子写入,避免cron正在写文件的过程中,页面读到半截残缺的文件内容
如果不想维护PHP缓存文件,也可以用最简单的单表缓存方案:新建一张stat_cache表,设置stat_key(统计项唯一标识,做主键)、stat_value(统计结果值)两个字段,cron任务直接更新这张表,页面从表里读结果,不存在PHP文件语法错误的风险,更适合统计项较多的场景。
二、Cron预计算脚本的编写
把页面里所有内嵌的慢查询代码,全部抽离到独立的定时执行脚本(比如scripts/calculate_stats.php)里,不要和页面渲染逻辑混写。脚本核心逻辑按照下面的流程实现:
- 初始化数据库连接,复用现有项目的连接配置,避免重复写连接参数
- 依次执行所有需要预计算的慢查询,比如你示例中的累计工时统计查询:
// 计算总累计工时 $totalHours = 0; $res = mysqli_query($conn, "SELECT SUM(rectime / 3600) AS numberOfHours FROM inf_times"); if ($row = mysqli_fetch_assoc($res)) { $totalHours = ceil($row['numberOfHours']); } - 把所有计算完成的结果,统一写入之前选定的存储位置。如果是写PHP缓存文件,用临时文件写完后再重命名为正式缓存文件的方式,实现原子写入:
// 整理所有需要缓存的统计项 $stats = [ 'total_hours' => $totalHours, 'last_calculate_time' => date('Y-m-d H:i:s') ]; // 先写临时文件 $tmpFile = tempnam(sys_get_temp_dir(), 'stats'); file_put_contents($tmpFile, '<?php return ' . var_export($stats, true) . ';'); // 操作系统层面的重命名是原子操作,不会出现半截文件 rename($tmpFile, __DIR__ . '/../runtime/stats_cache.php'); - 加上异常兜底逻辑:如果数据库连接失败、查询执行报错,不要覆盖原有有效的旧缓存,等下次脚本执行成功后再更新结果,避免把有效结果覆盖成空值。
三、页面端的改造逻辑
把原来页面内嵌的实时查询代码全部删除,替换为从缓存读取预计算结果的逻辑,比如你示例中的页面改造后代码如下:
// 加载预计算的缓存文件,不存在时给默认值避免报错 $stats = file_exists(__DIR__ . '/runtime/stats_cache.php') ? include __DIR__ . '/runtime/stats_cache.php' : []; ?> <span class="text-muted my-1">Total count of records time</span> <hr> <?php // 直接展示缓存中预先计算好的结果 echo ($stats['total_hours'] ?? 0) . " hours"; ?>
改造完成后,页面不再执行数万行数据的聚合查询,仅需要读取一个几KB的缓存文件,加载耗时基本在百毫秒以内,远低于3-4秒的性能目标。
四、Cron任务配置的注意事项
你已经掌握基础cron配置,落地时注意几个容易踩坑的细节:
- 定时任务按每分钟频率执行即可,crontab配置参考:
* * * * * /usr/bin/php /你的项目绝对路径/scripts/calculate_stats.php > /dev/null 2>&1 - 因为原有查询单次执行需要30秒左右,一定要在脚本开头加
set_time_limit(0);关闭PHP的默认超时限制,避免脚本执行到一半被系统强制终止 - 给脚本加文件锁,避免上一次计算还没跑完、下一次cron触发就启动新的计算进程,对数据库造成重复压力:
$lockFile = fopen(__DIR__ . '/../runtime/stats_calc.lock', 'w'); // 非阻塞拿锁,拿不到直接退出 if (!flock($lockFile, LOCK_EX | LOCK_NB)) { exit; }
五、后续扩展性建议
随着统计项逐渐增多,不需要把所有查询都挤在同一个每分钟执行的cron脚本里:可以按页面模块拆分不同的定时任务,比如首页核心统计5分钟执行一次,低频访问的报表页统计10分钟执行一次,在保证用户看到的数据时效性可接受的前提下,进一步降低数据库的常驻压力。
内容的提问来源于stack exchange,提问作者Eric
相关产品推荐
相关产品推荐

