PowerShell分割9GB CSV文件遇内存问题求解决方案

核心思路 #

使用.NET原生的StreamReader和StreamWriter逐行处理文件，严格控制内存占用，每写入内容接近10MB时切换新文件，同时保留CSV表头以保证分块文件可独立解析。

可行代码实现 #

$sourcePath = "C:\path\to\large.csv"
$outputDir = "C:\path\to\output"
$maxSizeMB = 10
$maxSizeBytes = $maxSizeMB * 1MB

# 创建输出目录（不存在则新建）
if (-not (Test-Path $outputDir)) {
    New-Item -ItemType Directory -Path $outputDir | Out-Null
}

$reader = [System.IO.StreamReader]::new($sourcePath)
$fileIndex = 1
$currentSize = 0
$writer = $null
$header = $reader.ReadLine()  # 读取CSV表头

try {
    while (-not $reader.EndOfStream) {
        # 当当前文件达到大小阈值或首次写入时，创建新文件
        if (-not $writer -or $currentSize -ge $maxSizeBytes) {
            # 关闭并释放当前写入器（如果存在）
            if ($writer) {
                $writer.Flush()
                $writer.Close()
                $writer.Dispose()
            }
            # 生成新的分块文件路径
            $outputPath = Join-Path $outputDir "part_$fileIndex.csv"
            $writer = [System.IO.StreamWriter]::new($outputPath)
            # 写入表头到新文件
            $writer.WriteLine($header)
            $currentSize = $header.Length + [System.Text.Encoding]::UTF8.GetByteCount("`r`n")
            $fileIndex++
        }

        $line = $reader.ReadLine()
        if ($line) {
            $lineTotalBytes = [System.Text.Encoding]::UTF8.GetByteCount($line + "`r`n")
            # 处理单个行超过10MB的极端情况
            if ($lineTotalBytes -gt $maxSizeBytes) {
                Write-Warning "该行内容超过$maxSizeMB MB，将单独存入文件"
                # 关闭当前写入器
                if ($writer) {
                    $writer.Flush()
                    $writer.Close()
                    $writer.Dispose()
                }
                # 单独创建文件存储超大行
                $largeLinePath = Join-Path $outputDir "large_line_$fileIndex.csv"
                $writer = [System.IO.StreamWriter]::new($largeLinePath)
                $writer.WriteLine($header)
                $writer.WriteLine($line)
                $writer.Flush()
                $writer.Close()
                $writer.Dispose()
                $writer = $null
                $currentSize = 0
                $fileIndex++
            } else {
                $writer.WriteLine($line)
                $currentSize += $lineTotalBytes
            }
        }
    }
} finally {
    # 确保所有流资源被正确释放
    if ($writer) {
        $writer.Flush()
        $writer.Close()
        $writer.Dispose()
    }
    $reader.Close()
    $reader.Dispose()
}

代码关键说明 #

• 逐行加载：通过StreamReader.ReadLine()仅将当前行加载到内存，内存占用稳定在极低水平。
• 实时控容：每次写入行后累加字节数，达到阈值立即切换新文件，保证分块不超过10MB且不拆分单行。
• 表头保留：每个分块文件都写入原始CSV的表头，确保单个分块可直接用CSV工具解析。
• 异常处理：针对单行超过10MB的极端情况单独处理，避免程序中断。
• 资源清理：通过finally块强制释放流资源，防止内存泄漏。

避坑提示 #

• 不要使用无参数的Get-Content：PowerShell在部分场景下会缓冲大量数据到内存，引发溢出。
• 禁止使用Import-Csv：该命令会将整个CSV解析为对象集合，内存占用呈量级增长。
• 必须用.NET原生流对象：StreamReader/StreamWriter直接操作字节流，是大文件处理的最优选择。

内容的提问来源于stack exchange，提问作者S. B. Bennett