为拆分CSV的PowerShell脚本添加进度指示器

可行性确认 #

PowerShell完全能实现大型CSV拆分需求，原生的Import-Csv、Export-Csv配合循环/批处理逻辑就能搞定，你找到的脚本思路没问题，没输出大概率是脚本没处理好头部、或者读取效率低导致看起来没反应。

进度指示器添加位置及修改方案 #

原脚本的核心逻辑是按行分批，我们可以在读取源文件行和写入批次文件两个环节添加进度提示，以下是修改后的完整脚本，关键位置已标注：

# 配置参数
$sourcePath = "C:\path\to\your\large.csv"
$batchSize = 1000  # 每个小文件的行数（不含表头）
$outputDir = "C:\path\to\output"

# 创建输出目录（如果不存在）
if (-not (Test-Path $outputDir)) {
    New-Item -ItemType Directory -Path $outputDir | Out-Null
}

# 读取源文件的表头
$header = Get-Content $sourcePath -TotalCount 1

# 获取源文件总行数（用于计算进度）
$totalLines = (Get-Content $sourcePath | Measure-Object -Line).Lines
$processedLines = 1  # 已处理1行表头
$batchNumber = 1

# 分批读取并写入
Get-Content $sourcePath -Skip 1 | ForEach-Object -Begin {
    $currentBatch = @()
} -Process {
    $currentBatch += $_
    $processedLines++

    # 显示实时进度
    $progressPercent = [math]::Round(($processedLines / $totalLines) * 100, 2)
    Write-Progress -Activity "拆分CSV文件" -Status "已处理 $processedLines / $totalLines 行 ($progressPercent%)" -PercentComplete $progressPercent

    # 达到批次大小则写入文件
    if ($currentBatch.Count -eq $batchSize) {
        $outputPath = Join-Path $outputDir "batch_$batchNumber.csv"
        $header | Out-File $outputPath -Encoding utf8
        $currentBatch | Out-File $outputPath -Encoding utf8 -Append
        Write-Host "已生成文件: $outputPath"
        $currentBatch = @()
        $batchNumber++
    }
} -End {
    # 处理剩余不足一批次的行
    if ($currentBatch.Count -gt 0) {
        $outputPath = Join-Path $outputDir "batch_$batchNumber.csv"
        $header | Out-File $outputPath -Encoding utf8
        $currentBatch | Out-File $outputPath -Encoding utf8 -Append
        Write-Host "已生成文件: $outputPath"
    }
    Write-Progress -Activity "拆分CSV文件" -Status "完成" -Completed
    Write-Host "CSV拆分完成，共生成 $batchNumber 个文件"
}

关键进度逻辑说明 #

• 总行数统计：脚本开头用Measure-Object获取源文件总行数，作为进度计算的基准
• 实时进度更新：在ForEach-Object的Process块中，每处理一行就更新已处理行数，计算进度百分比后用Write-Progress显示可视化进度条
• 批次完成提示：每写完一个批次文件，用Write-Host输出文件路径，明确脚本运行状态
• 结束标记：最后关闭进度条并输出完成提示，确认任务收尾

原脚本无输出的排查点 #

• 检查源文件路径是否正确，当前用户是否有读取权限
• 确认输出目录存在且有写入权限
• 原脚本若用Import-Csv直接读取超大文件，会导致内存占用高、读取极慢，换成Get-Content分批读取效率会提升很多
• 检查源文件是否为空，或者表头格式是否异常

内容的提问来源于stack exchange，提问作者Supek