You need to enable JavaScript to run this app. PowerShell统计含独立回车/换行符的SQL导出TXT文件真实行数
优惠活动
大模型
产品
解决方案
定价
更多

PowerShell统计含独立回车/换行符的SQL导出TXT文件真实行数

大体积SQL导出文件真实数据行统计实现

计数偏差的核心原因

当前使用的脚本依赖Get-Content的默认行拆分规则,该规则会将**任意单独出现的\r或\n**都识别为行分隔符,因此会把数据字段内嵌的控制符拆分成独立物理行,最终统计值远高于实际SQL数据的行数。
结合你的导出文件规则:真实SQL数据行的唯一结束标记是成对连续出现的\r\n,数据内嵌的控制符永远不会成组出现,因此统计文件中成对\r\n的出现次数,即可得到准确的真实行数。

优化后可直接运行的脚本

脚本适配大体积文件场景,采用分块读取机制,不会一次性加载全文件到内存,避免超大文件读取时的内存溢出问题:

# 遍历当前目录下所有普通文件
Get-ChildItem -File | ForEach-Object {
    $fileName = $_.Name
    $crlfCount = 0
    # 以只读模式打开文件流,采用1MB固定块读取
    $stream = [System.IO.File]::OpenRead($_.FullName)
    try {
        $buffer = New-Object byte[] 1MB
        $prevIsCr = $false
        while (($readBytes = $stream.Read($buffer, 0, $buffer.Length)) -gt 0) {
            for ($i = 0; $i -lt $readBytes; $i++) {
                $currentByte = $buffer[$i]
                # 检测到连续的CRLF配对,累加行数
                if ($prevIsCr -and $currentByte -eq 10) { # 10 是换行符\n的ASCII编码
                    $crlfCount++
                    $prevIsCr = $false
                }
                # 当前位是回车符\r,标记状态等待下一位判断
                elseif ($currentByte -eq 13) { # 13 是回车符\r的ASCII编码
                    $prevIsCr = $true
                }
                # 非配对状态下重置标记
                else {
                    $prevIsCr = $false
                }
            }
        }
        # 可选配置:如果导出文件末尾的最后一行没有带CRLF结束标记,可取消下行注释启用自动补计数
        # if ($stream.Length -gt 0) { $crlfCount++ }
    }
    finally {
        $stream.Close()
    }
    # 按原脚本兼容格式输出统计结果
    "$fileName; $crlfCount"
} | Out-File -FilePath "row_count.txt" -Encoding UTF8

脚本核心逻辑说明

  • 绕开文本读取组件的自动行拆分,直接扫描文件原始字节流,避免被内嵌的单独\r、单独\n干扰计数结果
  • 采用1MB固定块分段读取内容,哪怕是数GB级别的超大文件,也不会因为一次性加载全内容占用过高内存
  • 仅当检测到「回车符 + 换行符」的连续配对序列时,才累加一次真实数据行数
  • 单独出现的\r、单独出现的\n都会被判定为字段内嵌的数据内容,不会触发行数累加

内容的提问来源于stack exchange,提问作者Chipmunk_da

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 09:27:03