PowerShell从SQL Server导出大Blob速度远低于BCP问题求助

• 最核心的问题是没有为SqlDataReader启用顺序访问模式：调用ExecuteReader()时没有传入CommandBehavior.SequentialAccess参数，SqlClient的默认行为会把整行数据（包括完整的2GB Blob字段）全部预加载到内存中再返回，这一步会产生极高的内存拷贝和GC开销，是性能暴跌的首要原因。大Blob读取场景必须启用SequentialAccess，让Reader以流的形式分段读取Blob内容，避免预加载全量数据。
• 缓冲区设置过小：当前使用的缓冲区仅为8KB，处理2GB文件需要循环执行近26万次GetBytes和写文件操作。PowerShell是解释型语言，循环执行的开销远高于BCP这类原生编译程序，建议将缓冲区大小调整到1~4MB，大幅降低循环次数。
• 不必要的强制刷盘操作：每次写完缓冲区后都调用了$bw.Flush()，强制操作系统立刻将数据写入磁盘，完全跳过了文件系统的缓存机制，磁盘IO次数直接提升几个数量级，机械磁盘下这个操作会把IO性能压到极低。删除该Flush调用，系统会自动在缓存满后批量写入磁盘，性能会有量级提升。
• 额外的日志输出开销：循环内的Write-Output每次执行都会产生控制台输出开销，虽然不是核心问题，但处理大量文件时也会拖慢速度，不需要可直接注释。

# 1. 执行Reader时指定SequentialAccess
$rd = $cmd.ExecuteReader([System.Data.CommandBehavior]::SequentialAccess)

# 2. 缓冲区调整为4MB，可根据实际内存情况调整
$bufferSize = 4 * 1024 * 1024

# 3. 循环内删除$bw.Flush()行即可

内容的提问来源于stack exchange，提问作者Tony