C#：如何高效截断大型事务日志文件的开头部分？

我采用文本文件存储事务日志，将其作为核心持久化机制——软件启动时会重放事务以恢复至最新状态，同时配套快照、快照后事务加载、归档及清理机制。这类日志文件可能会变得极大，尤其是企业需保留一个月事务数据的场景。

当前清理逻辑为启动时及每日午夜执行：创建快照、归档事务、清理旧数据。现有清理算法通过两个文件流，将符合保留条件的事务逐行写入临时文件后替换原文件，该方式虽节省内存，但处理500MB级文件时性能堪忧。

由于事务按从上到下、从旧到新的顺序存储，我希望能逐行删除开头的旧事务，直至找到需保留的事务后立即停止处理，请问是否有可行方案？

当前实现代码 #

await _semaphore.WaitAsync().ConfigureAwait(false);
try
{
    using var reader = _fileSystem.OpenStream(originalFile);
    using var writer = _fileSystem.CreateStream(tempFile);
    string? line = null;
    while ((line = await reader.ReadLineAsync().ConfigureAwait(false)) is not null)
    {
        var logItem = _serializer.Deserialize<TransactionLogItem>(line);
        var dateLogged = logItem.HappenedOn.ToLocalDateTime().Date;
        if (dateLogged >= oldestAllowedDate) await writer.WriteLineAsync(line).ConfigureAwait(false);
    }
}
finally
{
    _fileSystem.DeleteFile(originalFile);
    _fileSystem.Rename(tempFile, originalFile);
    _semaphore.Release();
}

针对你的场景，完全可以利用事务日志“旧到新”的存储顺序优化清理流程，核心思路是先定位第一个需保留事务的起始偏移量，再批量复制后续内容，避免遍历整个文件。具体实现步骤如下：

1. 定位保留起始偏移 #

逐行扫描日志文件，直到找到第一个符合保留条件（dateLogged >= oldestAllowedDate）的事务，记录该行的起始字节偏移。扫描到目标后立即停止，无需处理剩余内容。

2. 批量复制有效内容 #

从记录的起始偏移位置开始，将文件剩余内容批量复制到临时文件，最后替换原日志文件。批量字节复制的效率远高于逐行写入，能大幅提升大文件处理性能。

优化后的代码实现 #

await _semaphore.WaitAsync().ConfigureAwait(false);
try
{
    long startOffset = 0;
    bool hasValidLogs = false;

    // 第一步：扫描找到第一个需保留日志的起始偏移
    using (var fileStream = _fileSystem.OpenStream(originalFile, FileMode.Open, FileAccess.Read))
    using (var streamReader = new StreamReader(fileStream))
    {
        string? line;
        while ((line = await streamReader.ReadLineAsync().ConfigureAwait(false)) is not null)
        {
            // 计算当前行的起始字节偏移（需考虑编码及换行符长度）
            long lineByteLength = streamReader.CurrentEncoding.GetByteCount(line + Environment.NewLine);
            long lineStartOffset = fileStream.Position - lineByteLength;
            
            var logItem = _serializer.Deserialize<TransactionLogItem>(line);
            var dateLogged = logItem.HappenedOn.ToLocalDateTime().Date;
            
            if (dateLogged >= oldestAllowedDate)
            {
                startOffset = lineStartOffset;
                hasValidLogs = true;
                break;
            }
        }
    }

    // 第二步：批量复制有效内容到临时文件
    using (var sourceStream = _fileSystem.OpenStream(originalFile, FileMode.Open, FileAccess.Read))
    using (var destStream = _fileSystem.CreateStream(tempFile))
    {
        if (hasValidLogs)
        {
            sourceStream.Position = startOffset;
            await sourceStream.CopyToAsync(destStream).ConfigureAwait(false);
        }
        // 若没有有效日志，临时文件会是空文件，替换后原文件清空
    }

    // 替换原文件
    _fileSystem.DeleteFile(originalFile);
    _fileSystem.Rename(tempFile, originalFile);
}
finally
{
    _semaphore.Release();
}

额外优化建议 #

• 归档旧事务：在扫描阶段可同时将旧事务写入归档文件，无需单独二次扫描
• 边界处理：若所有日志都需保留，startOffset为0，直接复制整个文件；若所有日志都需删除，临时文件为空，替换后原文件清空
• 性能监控：大文件场景下，可对比新旧方案的IO耗时，验证优化效果

内容的提问来源于stack exchange，提问作者Logan K