PowerShell统计含独立回车/换行符的SQL导出TXT文件真实行数
大体积SQL导出文件真实数据行统计实现
计数偏差的核心原因
当前使用的脚本依赖Get-Content的默认行拆分规则,该规则会将**任意单独出现的\r或\n**都识别为行分隔符,因此会把数据字段内嵌的控制符拆分成独立物理行,最终统计值远高于实际SQL数据的行数。
结合你的导出文件规则:真实SQL数据行的唯一结束标记是成对连续出现的\r\n,数据内嵌的控制符永远不会成组出现,因此统计文件中成对\r\n的出现次数,即可得到准确的真实行数。
优化后可直接运行的脚本
脚本适配大体积文件场景,采用分块读取机制,不会一次性加载全文件到内存,避免超大文件读取时的内存溢出问题:
# 遍历当前目录下所有普通文件 Get-ChildItem -File | ForEach-Object { $fileName = $_.Name $crlfCount = 0 # 以只读模式打开文件流,采用1MB固定块读取 $stream = [System.IO.File]::OpenRead($_.FullName) try { $buffer = New-Object byte[] 1MB $prevIsCr = $false while (($readBytes = $stream.Read($buffer, 0, $buffer.Length)) -gt 0) { for ($i = 0; $i -lt $readBytes; $i++) { $currentByte = $buffer[$i] # 检测到连续的CRLF配对,累加行数 if ($prevIsCr -and $currentByte -eq 10) { # 10 是换行符\n的ASCII编码 $crlfCount++ $prevIsCr = $false } # 当前位是回车符\r,标记状态等待下一位判断 elseif ($currentByte -eq 13) { # 13 是回车符\r的ASCII编码 $prevIsCr = $true } # 非配对状态下重置标记 else { $prevIsCr = $false } } } # 可选配置:如果导出文件末尾的最后一行没有带CRLF结束标记,可取消下行注释启用自动补计数 # if ($stream.Length -gt 0) { $crlfCount++ } } finally { $stream.Close() } # 按原脚本兼容格式输出统计结果 "$fileName; $crlfCount" } | Out-File -FilePath "row_count.txt" -Encoding UTF8
脚本核心逻辑说明
- 绕开文本读取组件的自动行拆分,直接扫描文件原始字节流,避免被内嵌的单独
\r、单独\n干扰计数结果 - 采用1MB固定块分段读取内容,哪怕是数GB级别的超大文件,也不会因为一次性加载全内容占用过高内存
- 仅当检测到「回车符 + 换行符」的连续配对序列时,才累加一次真实数据行数
- 单独出现的
\r、单独出现的\n都会被判定为字段内嵌的数据内容,不会触发行数累加
内容的提问来源于stack exchange,提问作者Chipmunk_da
相关产品推荐
相关产品推荐

