PowerShell中Out-File -Append在foreach循环中静默丢失行问题

问题背景 #

需要从200MB的CSV文件中提取表头及每第500行作为测试样本。最初采用foreach循环结合Out-File -Append写入网络共享文件的方案，出现样本文件行数少于预期的问题：预期2014行，实际仅1992-2011行，且多次运行结果的丢失行数无规律。本地磁盘写入无异常，脚本全程无报错。

原脚本代码 #

$destfile = "\\UNCSHARE\Folder\Export_Sample_$(get-date -Format "yyyyMMdd_HHmmss").txt"

$Original = get-content "\\UNCSHARE\Folder\200MB_Export_20231208_1545.txt"

[int64]$ln = 0
[int64]$SampleCount = 0

foreach ($line in $Original) {
    $ln++
    if ($ln -eq 1 -or $ln % 500 -eq 0) {
        $line | Out-File -FilePath $destfile -Append -ErrorAction Stop
        $SampleCount++
    }
}
write-host $SampleCount

(get-content $destfile).count 

现象与环境细节 #

• 仅写入网络共享路径时出现丢行，本地磁盘写入完全正常
• 丢失的行无固定规律，多次运行后实际行数在1992-2011之间波动
• 运行环境：PowerShell Core 7.4.2（Windows 10 加入AD域）
• 替换为.NET API [System.IO.File]::AppendAllText后，仍出现丢行且无报错；切换至Windows PowerShell 5.1时，该API抛出“文件被另一进程占用”错误，但Out-File仍无报错且丢行

验证可行的解决方案 #

将目标行先收集到变量中，再一次性写入文件，可稳定生成2014行的样本文件：

# Collect the line data in a variable
$Sample = foreach ($line in $Original) {
    $ln++
    if ($ln -eq 1 -or $ln % 500 -eq 0) {
        $line
        $SampleCount++
    }
}
# Single write to file  
$Sample | Out-File -FilePath $destfile

丢行原因分析 #

1. 网络文件系统的缓存与同步延迟：SMB等网络共享文件系统会使用客户端和服务器端缓存优化IO性能。频繁的小批量追加写入（每次仅一行）时，客户端可能认为写入已完成，但服务器端缓存尚未完成持久化，若出现网络波动或服务器缓存策略调整，部分写入请求可能被静默丢弃，且不会返回错误给客户端。
2. 频繁文件句柄操作的竞争问题：每次Out-File -Append都会执行“打开文件→写入→关闭文件”的流程，在网络环境下，频繁的文件句柄开闭可能引发服务器端的锁竞争或句柄释放延迟。PowerShell Core的Out-File实现对这类轻微竞争做了静默处理，不会抛出错误，但会导致部分写入操作失败。
3. 小IO操作的可靠性缺陷：单一行的写入属于极小的IO单元，网络环境下这类操作的可靠性远低于批量写入。服务器端可能会对频繁的小写入进行合并优化，若合并过程中出现时序问题或中断，就会导致部分行丢失。

内容的提问来源于stack exchange，提问作者Autumnal Sigh