如何在Zig中高效读取标准输入？stdin读取性能优化问题

问题现象 #

从标准输入读取文件统计行数时，性能远低于wc -l：

• 原stdin读取代码（无缓冲）：通过less test.sam | time zig-test处理1万行文件耗时1.254秒，其中用户态0.52s、系统态0.72s；
• 直接读取文件（带缓冲）：耗时仅0.133秒，系统态开销几乎为0；
• 对比less test.sam | time wc -l仅耗时0.04秒。

原慢代码（stdin无缓冲） #

var reader = std.io.getStdIn().reader();
var count: u32 = 0;
var buf: [1000]u8 = undefined;
while (try reader.readUntilDelimiterOrEof(&buf, '\n')) |line| {
    _ = line;
    count += 1;
}

优化后的文件读取代码（带缓冲） #

var file = try std.fs.cwd().openFile("test.sam", .{});
defer file.close();
var buf_reader = std.io.bufferedReader(file.reader());
var reader = buf_reader.reader();
var count: u32 = 0;
var buf: [10000]u8 = undefined;
while (try reader.readUntilDelimiterOrEof(&buf, '\n')) |line| {
    _ = line;
    count += 1;
}

性能差异原因 #

1. 标准输入默认无缓冲：原代码直接使用std.io.getStdIn().reader()，每次readUntilDelimiterOrEof都会触发多次系统调用，系统态开销占比极高；
2. 缓冲区大小不足：原代码用1000字节缓冲区，导致用户态需要频繁处理小数据块，增加循环次数和开销；
3. 直接读文件用了缓冲：bufferedReader会批量读取数据到内部缓冲区，大幅减少系统调用次数，同时更大的缓冲区（10000字节）降低了用户态的处理频次。

stdin读取优化方案 #

方案1：给stdin添加缓冲 + 增大缓冲区

给stdin的reader套上bufferedReader，同时使用更大的缓冲区，性能可追平直接读文件：

var stdin = std.io.getStdIn();
var buf_reader = std.io.bufferedReader(stdin.reader());
var reader = buf_reader.reader();
var count: u32 = 0;
var buf: [10000]u8 = undefined;
while (try reader.readUntilDelimiterOrEof(&buf, '\n')) |line| {
    _ = line;
    count += 1;
}

方案2：模仿wc -l的高效统计逻辑

如果要进一步接近wc -l的性能，可跳过逐行解析，直接读取大块缓冲区并统计换行符数量，避免字符串切割的额外开销：

var stdin = std.io.getStdIn();
var buf_reader = std.io.bufferedReader(stdin.reader());
var reader = buf_reader.reader();
var count: u64 = 0;
var buf: [65536]u8 = undefined; // 使用64KB级别的大块缓冲区
while (try reader.read(&buf)) |bytes_read| {
    for (buf[0..bytes_read]) |c| {
        if (c == '\n') count += 1;
    }
}

内容的提问来源于stack exchange，提问作者kezzos