如何使用PowerShell高效为大型CSV文件添加表头（流式处理避免内存过载）

我太懂你这种困扰了——900MB+的CSV直接用Import-Csv加载，内存直接拉满，卡到崩溃都是常事。你之前试的两种方法要么把整个文件塞进内存导致卡顿，要么错误地把表头拆成了多行，下面给你两个流式处理的方案，全程不用把文件全加载进内存，速度快还稳：

方案一：用Get-Content分块读取（简单易上手） #

这个方法用Get-Content的-ReadCount参数分批次读取文件，先把表头写入临时文件，再逐块追加原文件内容，内存占用可控：

$filePath = 'C:\Install.tmp\target.csv'
$tempFilePath = 'C:\Install.tmp\target_with_header.csv'
# 定义你的表头数组
$headers = "Column 0","Column 1","Column 2","Column 3","Column 4","Column 5","Column 6","Column 7","Column 8","Column 9","Column 10","Column 11","Column 12","Column 13","Column 14","Column 15","Column 16"

# 第一步：把表头拼成一行写入临时文件（用逗号分隔）
$headers -join ',' | Set-Content -Path $tempFilePath -Encoding utf8

# 第二步：分块读取原文件，每1000行追加一次（可根据内存调整数值）
Get-Content -Path $filePath -ReadCount 1000 | ForEach-Object {
    Add-Content -Path $tempFilePath -Value $_ -Encoding utf8
}

# 第三步：替换原文件（如果不需要保留原文件的话）
Remove-Item -Path $filePath -Force
Rename-Item -Path $tempFilePath -NewName (Split-Path $filePath -Leaf)

注意事项： #

• 记得匹配原文件的编码，比如原文件是GB2312就把-Encoding utf8改成-Encoding default或者对应的编码，避免乱码。
• -ReadCount的数值可以调整：内存够就设大一点（比如5000），内存紧张就设小一点，不影响最终结果。

方案二：用.NET流操作（性能最优） #

如果追求极致性能，直接用.NET的StreamReader和StreamWriter是最好的选择——逐行读取写入，内存占用几乎可以忽略，处理超大文件效率拉满：

$filePath = 'C:\Install.tmp\target.csv'
$tempFilePath = 'C:\Install.tmp\target_with_header.csv'
$headers = "Column 0","Column 1","Column 2","Column 3","Column 4","Column 5","Column 6","Column 7","Column 8","Column 9","Column 10","Column 11","Column 12","Column 13","Column 14","Column 15","Column 16"

try {
    # 初始化写入流，先写入表头
    $writer = [System.IO.StreamWriter]::new($tempFilePath, $false, [System.Text.Encoding]::UTF8)
    $writer.WriteLine($headers -join ',')

    # 初始化读取流，逐行读取原文件内容并写入
    $reader = [System.IO.StreamReader]::new($filePath, [System.Text.Encoding]::UTF8)
    while (-not $reader.EndOfStream) {
        $line = $reader.ReadLine()
        $writer.WriteLine($line)
    }
}
finally {
    # 必须确保流被关闭和释放，避免文件占用
    if ($reader) { $reader.Close(); $reader.Dispose() }
    if ($writer) { $writer.Close(); $writer.Dispose() }
}

# 替换原文件
Remove-Item -Path $filePath -Force
Rename-Item -Path $tempFilePath -NewName (Split-Path $filePath -Leaf)

为什么你之前的方法出错了？ #

你之前用Set-Content $File -Value $Header时，因为$Header是字符串数组，PowerShell会把数组里的每个元素单独写成一行，所以表头变成了多行新数据，而不是正确的第一行表头。正确的做法是用-join ','把数组拼成一个逗号分隔的字符串再写入。

备注：内容来源于stack exchange，提问作者Re1iant