PowerShell合并CSV文件出现异常行为，请求技术支持

问题根源分析 #

出现空文件或混入showrepl_INFO这类无关数据，大概率是以下原因：

• 脚本误读取了非目标CSV文件（比如AD工具生成的showrepl输出文件，命名与目标CSV冲突）
• 输出文件未被正确覆盖，残留旧数据或因文件锁定导致写入失败
• 表头处理逻辑有漏洞，导致表头丢失或重复写入
• 源文件编码不统一，读取时解析出错混入乱码或无关内容

修复后的合并脚本 #

# 配置路径：替换为你的实际路径
$sourceCsvFolder = "C:\Path\To\Your\CSVs"
$outputFile = "C:\Path\To\Merged_Users.csv"

# 精准筛选要合并的CSV文件，排除无关文件（比如含showrepl的AD输出）
$targetCsvs = Get-ChildItem -Path $sourceCsvFolder -Filter "*.csv" -File | 
              Where-Object { $_.Name -notmatch "showrepl|temp|backup" }

if (-not $targetCsvs) {
    Write-Error "未找到符合条件的用户信息CSV文件"
    exit 1
}

# 先删除旧输出文件，避免残留数据
if (Test-Path $outputFile) { Remove-Item $outputFile -Force }

# 写入第一个文件的完整内容（含表头）
Get-Content -Path $targetCsvs[0].FullName -Encoding UTF8 | Set-Content -Path $outputFile -Encoding UTF8

# 遍历剩余文件，跳过表头行后追加
foreach ($csv in $targetCsvs | Select-Object -Skip 1) {
    # 读取内容并跳过第一行，同时过滤空行
    $content = Get-Content -Path $csv.FullName -Encoding UTF8 | 
               Select-Object -Skip 1 | 
               Where-Object { $_ -match '\S' }
    
    if ($content) {
        $content | Add-Content -Path $outputFile -Encoding UTF8
    }
}

Write-Host "合并完成，输出文件：$outputFile"

关键优化点 #

• 精准文件过滤：通过Where-Object排除命名中包含showrepl等无关关键词的文件，从根源避免混入错误数据
• 强制清空旧文件：合并前删除旧输出文件，防止残留数据或文件锁定问题
• 明确编码设置：指定-Encoding UTF8（或匹配源文件的编码，比如UTF8BOM、Unicode），避免编码解析错误
• 过滤空行：用Where-Object { $_ -match '\S' }跳过空行，避免输出文件出现无效空行

额外排查步骤 #

1. 检查源文件目录：确认没有其他生成的临时文件或AD工具输出文件混在目标CSV中
2. 验证单个文件：单独读取每个源CSV，确认内容都是预期的用户信息，无异常行
3. 测试小批量合并：先合并2-3个文件，确认输出正常后再处理全部文件

内容的提问来源于stack exchange，提问作者RobinOlsen