百万级CSV读写性能优化求助（PowerShell+Salesforce CLI场景）

你的当前方案卡顿核心原因是：把150万行查询结果全部加载到PowerShell变量$queryResult中，占用大量内存导致系统资源耗尽、处理缓慢。以下是几个简单易操作的优化方向，适合非高级用户：

1. 直接管道输出到文件，跳过变量存储 #

不用先把所有结果存到变量里，直接将查询命令的输出通过管道实时写入文件，数据边生成边落地，不会占用过多内存：

# 创建临时文件
$tempFile = New-Item -ItemType File -Force -Path ./scripts/dataInsertion/tempFiles/queryTemp.csv

# 直接将查询结果管道写入文件，跳过变量
sf data query -q "SELECT Id FROM $sObjectName LIMIT 1500000" -b --wait 1 -o $sandboxName -r "csv" | Set-Content -Path $tempFile -Encoding utf8 -NewLine CRLF

# 执行批量删除
sf data delete bulk -s $sObjectName -f $tempFile -o $sandboxName

# 删除临时文件
Remove-Item $tempFile

2. 使用系统临时文件，避免自定义目录问题 #

用PowerShell内置的New-TemporaryFile自动生成系统临时目录下的唯一文件，不用手动指定路径，还能避免目录不存在、权限不足等问题：

# 生成带.csv后缀的系统临时文件
$tempFile = [System.IO.Path]::ChangeExtension((New-TemporaryFile).FullName, ".csv")

# 直接管道写入临时文件
sf data query -q "SELECT Id FROM $sObjectName LIMIT 1500000" -b --wait 1 -o $sandboxName -r "csv" | Set-Content -Path $tempFile -Encoding utf8 -NewLine CRLF

# 执行删除
sf data delete bulk -s $sObjectName -f $tempFile -o $sandboxName

# 删除临时文件
Remove-Item $tempFile -Force

3. 用命令重定向替代PowerShell管道（性能更优） #

直接通过命令行重定向将Salesforce CLI的输出写入文件，完全绕过PowerShell的管道处理，性能提升更明显：

$tempFile = [System.IO.Path]::ChangeExtension((New-TemporaryFile).FullName, ".csv")

# 用Out-File实现重定向，指定编码和CRLF换行符
sf data query -q "SELECT Id FROM $sObjectName LIMIT 1500000" -b --wait 1 -o $sandboxName -r "csv" | Out-File -Path $tempFile -Encoding utf8 -NewLine CRLF

sf data delete bulk -s $sObjectName -f $tempFile -o $sandboxName

Remove-Item $tempFile -Force

额外小提示 #

• 确保Salesforce CLI是最新版本，官方可能优化了批量查询的性能；
• 如果仍有卡顿，可考虑分批次查询（比如每次查50万行）并分批次执行删除，适合数据量极大的场景；
• 保持-b（批量查询）参数，这是Salesforce CLI针对大数据量设计的模式。

内容的提问来源于stack exchange，提问作者zanstaszek9