Gearman Worker中PHP filesize()是否为高开销操作？100实例性能问询

针对你部署100个Gearman Worker，通过filesize()检查文件大小来控制单文件不超过20MB的场景，我可以明确说：频繁调用filesize()确实可能引发服务器性能下降的问题，下面具体拆解原因、指出你当前代码的问题，并给出优化方案：

为什么filesize()会带来性能隐患？ #

• 底层依赖系统stat()调用：PHP的filesize()本质是触发系统的stat()接口，去读取文件的元数据（大小、修改时间等）。单次调用开销很小，但100个Worker同时高频触发这个操作时，大量的系统调用会累积消耗CPU资源；如果是机械磁盘，元数据查询的磁盘I/O延迟会被进一步放大。
• 元数据缓存的局限性：虽然多数文件系统会缓存文件元数据，但高并发场景下，缓存失效、多个Worker竞争缓存的情况很容易发生，导致频繁的实际磁盘I/O。
• 并发竞争风险：如果所有Worker都在操作同一个目标文件，哪怕只是读取文件大小，部分文件系统的读锁机制也可能导致Worker短暂阻塞，进一步加剧性能损耗。

你当前代码的语法问题 #

顺便提一句：你代码里的20MB是无效的PHP语法，PHP无法识别这种写法，需要写成20 * 1024 * 1024（或者20 << 20）来表示20MB对应的字节数，否则会直接触发语法错误。

优化方案（针对你的文件分片需求） #

要实现“单文件不超过XMB就写入，否则新建文件”的需求，我们可以通过减少filesize()调用频率、避免并发竞争来优化：

• 本地维护文件大小计数器：每个Worker在内存中维护当前写入文件的大小，每次写入后更新这个计数器。只有当计数器接近阈值时（比如达到阈值的90%），再调用filesize()做一次校验（防止其他进程修改文件导致计数器不准），这样能大幅减少系统调用次数。
• 按Worker/时间分片：让每个Worker写入独立的文件（比如用Worker PID命名），或者定时切换文件（比如每小时新建一个文件），从根源上避免多个Worker竞争同一个文件的元数据查询。
• 结合文件锁+批量校验：如果必须共享文件，在检查文件大小和写入操作之间加flock()锁，防止多个Worker同时触发新建文件的逻辑；同时减少filesize()的调用频率，比如每写入N次数据再检查一次。

这里给你一个优化后的示例代码：

<?php
// 每个Worker维护自己的当前文件和大小计数器
$currentFile = "workload_" . getmypid() . ".log";
$currentSize = file_exists($currentFile) ? filesize($currentFile) : 0;
$maxFileSize = 20 * 1024 * 1024; // 20MB

function writeWorkloadData($data) {
    global $currentFile, $currentSize, $maxFileSize;
    
    // 先通过本地计数器判断，接近阈值时再校验真实文件大小
    if ($currentSize >= $maxFileSize || ($currentSize >= $maxFileSize * 0.9 && filesize($currentFile) >= $maxFileSize)) {
        // 新建文件，用时间戳+PID命名避免冲突
        $currentFile = "workload_" . time() . "_" . getmypid() . ".log";
        $currentSize = 0;
    }
    
    // 追加写入数据
    $handle = fopen($currentFile, "a");
    fwrite($handle, $data);
    // 更新本地计数器
    $currentSize += strlen($data);
    fclose($handle);
}

这个方案既保证了文件大小不超过限制，又大幅降低了filesize()的调用频率，能有效避免高并发下的性能问题。

内容的提问来源于stack exchange，提问作者kamal kishore