如何优化PHP在5GB大文件中的指定字符串搜索效率？

问题背景 #

我编写了一段PHP代码，用于在约5GB、包含5000万+行的超大文件中搜索特定字符串dealersVA。当前代码可正常运行，检索5900万行文件耗时约30秒，但无法使用数据库，只能基于文件操作，现寻求更高效的优化方案，比如分阶段字符匹配、分块读取等思路。

当前代码：

$count = 0;
$word = "dealersVA";

function getLines($file) {
    $f = fopen($file, 'r') or 
            die("Unable to open file!");
    try {
        while (($line = fgets($f, 4096)) !== false) {
            yield $line;    
        }
    } finally {
        fclose($f);
    }
} 

foreach (getLines("dealers.txt") as $n => $line) {
    if (str_starts_with($line, $word) ) {
        $line = substr($line, 0, strpos($line, "."));
        $count++;
    }       
}

文件内容示例：

dealersVA
Magic
NorthShoreIE
VA
BankO
dealersVA
...
//so on

优化方案 #

1. 简化前缀匹配逻辑，减少函数开销 #

str_starts_with本身效率不低，但可以跳过函数调用，直接取与目标字符串长度一致的子串做对比，同时提前过滤长度不足的行：

$count = 0;
$word = "dealersVA";
$wordLen = strlen($word);

$handle = fopen("dealers.txt", 'r') or die("Unable to open file!");
try {
    while (($buffer = fgets($handle, 4096)) !== false) {
        // 行长度不足直接跳过，无需后续判断
        if (strlen($buffer) < $wordLen) continue;
        // 直接对比前缀子串，减少函数调用层级
        if (substr($buffer, 0, $wordLen) === $word) {
            $count++;
        }
    }
} finally {
    fclose($handle);
}

2. 大分块读取替代逐行读取 #

逐行读取的fgets会频繁处理换行符，改用更大的块（如128KB）读取，在块内手动拆分行并匹配，减少IO操作次数：

$count = 0;
$word = "dealersVA";
$wordLen = strlen($word);
$blockSize = 131072; // 128KB块大小
$handle = fopen("dealers.txt", 'r') or die("Unable to open file!");
$remainder = ''; // 保存块末尾的不完整行

try {
    while (($block = fread($handle, $blockSize)) !== false) {
        // 拼接上一次剩余的不完整行
        $content = $remainder . $block;
        // 拆分内容为行，最后一个元素留到下一次处理
        $lines = explode("\n", $content);
        $remainder = array_pop($lines);

        foreach ($lines as $line) {
            if (strlen($line) >= $wordLen && substr($line, 0, $wordLen) === $word) {
                $count++;
            }
        }
    }

    // 处理最后剩余的不完整行
    if (strlen($remainder) >= $wordLen && substr($remainder, 0, $wordLen) === $word) {
        $count++;
    }
} finally {
    fclose($handle);
}

3. 调用系统级命令实现极速匹配 #

利用系统原生的grep命令（C语言实现，IO和匹配效率远高于PHP），直接统计符合条件的行数：

$word = "dealersVA";
// 转义特殊字符避免正则冲突
$safeWord = escapeshellarg($word);
// 调用grep统计以指定字符串开头的行数
$output = shell_exec("grep -c ^$safeWord dealers.txt");
$count = intval(trim($output));

4. 内存映射文件（Memory Mapping） #

通过内存映射将文件直接加载到内存，减少IO拷贝开销，适合超大文件操作（需安装memmap扩展）：

$count = 0;
$word = "dealersVA";
$wordLen = strlen($word);
$fileName = "dealers.txt";
$fileSize = filesize($fileName);

// 打开文件并映射到内存
$handle = fopen($fileName, 'r');
$map = mmap($handle, $fileSize, PROT_READ, MAP_PRIVATE, 0, 0);

$pos = 0;
while ($pos < $fileSize) {
    // 定位换行符位置拆分行
    $newlinePos = strpos($map, "\n", $pos);
    $newlinePos = $newlinePos === false ? $fileSize : $newlinePos;
    
    if (($newlinePos - $pos) >= $wordLen && substr($map, $pos, $wordLen) === $word) {
        $count++;
    }
    $pos = $newlinePos + 1;
}

munmap($map);
fclose($handle);

效果参考 #

• 原代码：5900万行耗时约30秒
• 大分块读取方案：预计耗时减少20%-30%
• 系统grep命令：预计耗时可降至5-10秒（依系统IO性能而定）

内容的提问来源于stack exchange，提问作者Jake