PHP5使用pcntl_fork多进程处理账号偶发任务丢失问题排查求助

你的代码存在以下几处逻辑疏漏，是导致账号偶发未处理的直接原因： #

问题1：fork失败处理逻辑会直接丢失未执行任务 #

当前代码中pcntl_fork()返回-1时直接执行die()终止程序，如果某次fork因为系统进程数上限、内存不足、IO负载过高失败，尚未创建子进程的剩余批次账号会全部丢失，完全符合你单次丢失900余账号的现象（比如总共有2批任务，第一批1000个执行完成，第二批共900多个fork失败程序直接退出）。 #

问题2：子进程执行结果完全未校验，异常退出无感知 #

父进程仅通过pcntl_waitpid()的返回值判断子进程是否退出，完全不校验子进程的退出状态：无论子进程是正常处理完所有账号退出，还是因为内存溢出、业务报错、被系统OOM kill异常中断，父进程都会直接标记任务完成，不会感知到任务实际执行失败。 #

问题3：非阻塞回收逻辑存在已知兼容问题 #

你使用WNOHANG参数做非阻塞进程回收，会导致父进程循环空转占用大量CPU，同时PHP5版本的pcntl扩展存在非阻塞模式下偶发无法回收子进程PID的已知Bug，会导致$tasks数组永远无法清空，程序永久卡死无法执行后续逻辑。 #

问题4：子进程缺少资源隔离（业务场景下必现问题） #

如果你的业务逻辑涉及数据库连接、文件读写、CURL请求等操作，pcntl_fork()会将父进程的所有资源句柄继承给子进程，子进程退出时关闭资源会直接导致父进程的对应资源失效，后续父进程或其他子进程操作时会直接报错中断，丢失任务。 #

$numInputsPerTask = 1000;
$inputGroups = array_chunk($accounts, $numInputsPerTask);
$tasks = [];
$failedGroups = []; // 存储失败的批次，后续重试

foreach ($inputGroups as $inputKey => $inputForTask) {
    $pid = pcntl_fork();

    if ($pid === -1) {
        // fork失败不要直接退出，记录失败批次，重试或日志留存
        $failedGroups[] = $inputForTask;
        continue;
    } else if ($pid === 0) {
        // 子进程：先隔离父进程资源，比如重连数据库
        // 这里替换成你实际的账号处理逻辑
        try {
            foreach ($inputForTask as $account) {
                // 处理账号逻辑
            }
            exit(0); // 正常退出返回0
        } catch (Exception $e) {
            // 记录错误日志
            exit(1); // 异常退出返回非0
        }
    } else {
        $tasks[$pid] = $inputForTask; // 把PID和对应批次绑定，方便失败回溯
    }
}

// 阻塞回收子进程，避免空转和回收异常
while (!empty($tasks)) {
    $pid = pcntl_wait($status);
    if ($pid > 0) {
        $exitCode = pcntl_wexitstatus($status);
        if ($exitCode !== 0) {
            // 子进程异常退出，把对应批次加入失败列表
            $failedGroups[] = $tasks[$pid];
        }
        unset($tasks[$pid]);
    }
}

// 这里可以加失败批次的重试逻辑，或者把失败账号写入日志
if (!empty($failedGroups)) {
    // 记录失败批次日志，方便后续补处理
    file_put_contents('./failed_accounts.log', json_encode($failedGroups) . PHP_EOL, FILE_APPEND);
}

echo "Done";

内容的提问来源于stack exchange，提问作者Jayakrishnan Karunanithi