C语言Win10无外部依赖读取频繁更新日志末行的高效实现方法

核心思路 #

不要做全文件遍历，大日志场景下全量扫描IO开销完全不可接受，最高效的方案是从文件尾反向分块查找换行符，全程只用Windows 10自带的kernel32原生API，无任何外部依赖。

关键实现要点 #

• 打开文件必须用CreateFileW，共享模式必须传FILE_SHARE_READ | FILE_SHARE_WRITE | FILE_SHARE_DELETE，访问权限只申请GENERIC_READ，否则日志被写入进程占用时会直接打开失败，这是Windows平台读日志最常见的坑。
• 用GetFileSizeEx获取实时文件大小，按4KB块大小（和NTFS默认簇、系统内存页大小对齐，IO效率最高）从文件尾向前倒推偏移，用SetFilePointerEx移动文件指针，ReadFile读取块内容。
• 在读取到的内存块中从后向前查找第一个\n字符，兼容Windows平台\r\n换行格式，找到后该换行符之后的内容就是最后一行；如果当前块没找到换行，就继续向前读一个块，直到找到换行或者读到文件头（整个文件只有一行的场景）。
• 读取过程中校验文件大小变化，如果查找期间日志被追加导致文件大小变动，重新获取最新文件大小重复查找流程，避免读到半行截断内容。
• 操作完成后用CloseHandle释放文件句柄，避免资源泄漏。

性能优势 #

• 不需要加载整个文件到内存，IO次数和日志总大小无关，哪怕是几十GB的日志文件，最多数次磁盘读取就能拿到结果，性能比从头遍历高几个数量级。
• 所有调用的API都是Windows 10系统内置的kernel32.dll导出函数，不需要依赖任何第三方库、额外运行时，编译后单文件即可运行。
• 4KB对齐的块读取可以最大化系统磁盘缓存命中率，不会产生额外的IO碎片，高频调用场景下额外开销极低。

不要用C标准库的fopen/fseek系列函数实现这个需求：一是标准库默认的文件打开共享模式不支持其他进程同时写入，会碰到文件占用问题；二是标准库自带的缓冲机制在文件大小频繁变动的场景下容易出现指针偏移错误，直接调用原生Win32 API是稳定性和性能的最优选择。

核心逻辑参考代码 #

#include <windows.h>

#define READ_BLK_SIZE 4096 // 和NTFS簇大小对齐，最优IO块大小

// 读取日志最后一行，返回0为成功，非0为失败
int GetLastLogLine(LPCWSTR logPath, char* outBuf, DWORD outBufSize) {
    HANDLE hLog = CreateFileW(
        logPath,
        GENERIC_READ,
        FILE_SHARE_READ | FILE_SHARE_WRITE | FILE_SHARE_DELETE,
        NULL,
        OPEN_EXISTING,
        FILE_ATTRIBUTE_NORMAL,
        NULL
    );
    if (hLog == INVALID_HANDLE_VALUE) return 1;

    LARGE_INTEGER fileSize;
    if (!GetFileSizeEx(hLog, &fileSize)) {
        CloseHandle(hLog);
        return 2;
    }
    if (fileSize.QuadPart == 0) {
        outBuf[0] = '\0';
        CloseHandle(hLog);
        return 0;
    }

    char blkBuf[READ_BLK_SIZE];
    LARGE_INTEGER readOffset;
    LONG lineOffsetFromEnd = 0;
    BOOL foundLine = FALSE;

    // 从尾向前逐块查找换行
    for (LONGLONG offset = fileSize.QuadPart; offset > 0; offset -= READ_BLK_SIZE) {
        readOffset.QuadPart = offset > READ_BLK_SIZE ? offset - READ_BLK_SIZE : 0;
        SetFilePointerEx(hLog, readOffset, NULL, FILE_BEGIN);
        DWORD readSize = (DWORD)(offset - readOffset.QuadPart);
        DWORD realRead = 0;
        ReadFile(hLog, blkBuf, readSize, &realRead, NULL);

        // 块内从后往前找第一个\n
        for (int i = realRead - 1; i >= 0; i--) {
            if (blkBuf[i] == '\n') {
                lineOffsetFromEnd = (LONG)(fileSize.QuadPart - (readOffset.QuadPart + i + 1));
                foundLine = TRUE;
                break;
            }
        }
        if (foundLine) break;
        // 读到文件头还没换行，说明整个文件就是一行
        if (readOffset.QuadPart == 0) {
            lineOffsetFromEnd = (LONG)fileSize.QuadPart;
            break;
        }
    }

    // 定位到最后一行起始位置读内容
    LARGE_INTEGER lineStart;
    lineStart.QuadPart = fileSize.QuadPart - lineOffsetFromEnd;
    SetFilePointerEx(hLog, lineStart, NULL, FILE_BEGIN);
    DWORD lineLen = lineOffsetFromEnd;
    DWORD realReadLine = 0;
    // 跳过\r\n换行符
    if (lineLen >= 2) {
        SetFilePointerEx(hLog, lineStart, NULL, FILE_BEGIN);
        char crCheck[2];
        ReadFile(hLog, crCheck, 2, &realReadLine, NULL);
        if (crCheck[0] == '\r' && crCheck[1] == '\n') {
            lineLen -= 2;
            lineStart.QuadPart += 2;
        }
    }
    SetFilePointerEx(hLog, lineStart, NULL, FILE_BEGIN);
    ReadFile(hLog, outBuf, min(lineLen, outBufSize-1), &realReadLine, NULL);
    outBuf[realReadLine] = '\0';

    CloseHandle(hLog);
    return 0;
}

内容的提问来源于stack exchange，提问作者Lusvit