每日批量修复TSV文件中缓冲区截断导致的断行问题

针对你的TSV文件因缓冲区满强制换行导致的行字段不完整问题，以下是高效的PowerShell自动化修复方案，专门适配大文件（125万行量级），避免内存溢出，精准合并断行：

核心修复脚本 #

$inputFile = "C:\path\to\your\corrupted.tsv"
$outputFile = "C:\path\to\your\fixed.tsv"

$currentLine = ""
$requiredDelimiters = 47 # 对应48个字段的分隔符数量
$delimiter = "`t" # TSV的制表符分隔符

# 流式读写处理大文件，避免内存过载
$writer = [System.IO.StreamWriter]::new($outputFile, $false, [System.Text.Encoding]::UTF8)

try {
    foreach ($line in [System.IO.File]::ReadLines($inputFile)) {
        # 追加当前行内容（移除换行符残留）
        $currentLine += $line.TrimEnd("`r", "`n")
        
        # 统计当前累积内容的分隔符数量
        $delimiterCount = ($currentLine.Split($delimiter)).Count - 1
        
        if ($delimiterCount -ge $requiredDelimiters) {
            # 分隔符数量达标，写入完整行
            $writer.WriteLine($currentLine)
            $currentLine = "" # 重置累积缓存
        }
    }

    # 处理文件末尾可能遗留的不完整行
    if ($currentLine -ne "") {
        $writer.WriteLine($currentLine)
        Write-Warning "文件末尾存在未完成的行，已写入输出文件"
    }
}
finally {
    # 确保文件流正确关闭
    $writer.Close()
    $writer.Dispose()
}

Write-Host "修复完成，输出文件路径: $outputFile"

脚本关键逻辑说明 #

• 流式处理：用[System.IO.File]::ReadLines逐行读取、StreamWriter逐行写入，不会将整个6.6亿字符的文件加载到内存，避免内存溢出
• 精准合并：通过统计制表符数量判断行是否完整，只有当累积内容的分隔符达到47个（对应48个字段）时才输出完整行，不会误合并正常行
• 容错处理：自动处理文件末尾可能遗留的不完整行，避免数据丢失

注意事项 #

1. 编码适配：如果你的TSV文件不是UTF8编码（比如GB2312、GBK），请将[System.Text.Encoding]::UTF8替换为对应编码，例如[System.Text.Encoding]::GetEncoding("GB2312")
2. 先测小样：处理大文件前，先截取一小段包含断行的测试文件验证脚本效果，确保逻辑正确
3. 备份原文件：务必先备份原始TSV文件，避免操作失误导致数据丢失
4. 验证修复结果：修复完成后可运行以下脚本检查每行的字段完整性：

$fixedFile = "C:\path\to\your\fixed.tsv"
$requiredDelimiters = 47
$delimiter = "`t"

foreach ($line in [System.IO.File]::ReadLines($fixedFile)) {
    $count = ($line.Split($delimiter)).Count - 1
    if ($count -ne $requiredDelimiters) {
        Write-Warning "发现不符合要求的行，分隔符数量: $count`n内容: $line"
    }
}

内容的提问来源于stack exchange，提问作者SlackerSean