如何按日期字段拆分大制表符分隔文本文件并以日期命名输出文件

问题背景 #

现有40万行以上的制表符分隔文本文件，已按第3列（索引[2]）完成初步拆分，但拆分后文件仍过大，需要进一步按「名称+月份」拆分，生成如25823-0001_202207.txt、25823-0001_202208.txt的对应月份文件。

文件格式示例：

7/1/2022 9:00   7/1/2022 10:00  25823-0001
7/1/2022 10:00  7/1/2022 11:00  25823-0001 ...
7/1/2022 11:00  7/1/2022 12:00  25823-0001 ...
7/2/2022 13:00  7/2/2022 14:00  25823-0001 ...
8/1/2022 18:00  8/1/2022 19:00  25823-0001 ...
8/2/2022 0:00   8/2/2022 1:00   25823-0001 ...

当前代码可按第3列拆分，但尝试组合第3列与第1列日期时因日期格式匹配失败，使用ParseExact时出现「String was not recognized as a valid DateTime」错误，即使对日期字符串做trim()处理仍未解决。

解决方案 #

核心实现思路 #

1. 采用流式读写处理大文件，避免一次性加载全部内容导致内存溢出
2. 精准匹配日期格式，兼容单数字的月、日、小时格式
3. 缓存文件写入句柄，减少文件IO操作次数，提升处理效率

完整PowerShell代码 #

# 配置源文件路径和输出目录
$source = Get-ChildItem -Path "你的源文件所在目录" -Filter "*.txt"
$outputDir = "拆分文件的输出目录"

# 自动创建输出目录
if (-not (Test-Path -Path $outputDir)) {
    New-Item -Path $outputDir -ItemType Directory | Out-Null
}

foreach ($file in $source) {
    # 打开源文件读取流
    $reader = New-Object IO.StreamReader $file.FullName
    # 缓存已打开的文件写入器，避免重复打开关闭
    $activeWriters = @{}

    while ($line = $reader.ReadLine()) {
        # 按制表符分割行，仅保留前3部分（避免后续内容干扰）
        $fields = $line -split "`t", 3
        if ($fields.Count -lt 3) { continue }

        $targetName = $fields[2].Trim()
        $rawDate = $fields[0].Trim()

        try {
            # 解析日期：兼容M/d/yyyy H:mm格式（支持单数字月/日/小时）
            $parsedDate = [DateTime]::ParseExact(
                $rawDate,
                "M/d/yyyy H:mm",
                [System.Globalization.CultureInfo]::InvariantCulture
            )
            # 生成年份月份格式（如202207）
            $monthSuffix = $parsedDate.ToString("yyyyMM")
            $outputFile = Join-Path $outputDir "$targetName_$monthSuffix.txt"

            # 获取或创建写入器
            if (-not $activeWriters.ContainsKey($outputFile)) {
                $writer = New-Object IO.StreamWriter $outputFile, $true # 追加模式
                $activeWriters[$outputFile] = $writer
            }
            # 写入当前行
            $activeWriters[$outputFile].WriteLine($line)
        }
        catch {
            Write-Warning "无法解析行的日期，已跳过：$line，错误信息：$_"
            continue
        }
    }

    # 关闭所有打开的写入器
    foreach ($writer in $activeWriters.Values) {
        $writer.Close()
        $writer.Dispose()
    }
    # 关闭源文件读取流
    $reader.Close()
    $reader.Dispose()
}

关键细节说明 #

• 日期解析适配：指定格式字符串"M/d/yyyy H:mm"，完美匹配示例中的日期格式（包括7/1/2022 9:00、8/2/2022 0:00这类单数字的月、日、小时），同时使用InvariantCulture避免系统区域设置影响解析结果
• 大文件优化：使用StreamReader和StreamWriter逐行读写，内存占用低，适合处理百万级行数的文件
• IO性能提升：用哈希表缓存已打开的文件写入器，避免频繁打开关闭文件，大幅提升处理速度
• 错误容错：添加try-catch块捕获日期解析失败的行，输出警告信息并跳过，确保整体任务不会中断

内容的提问来源于stack exchange，提问作者razielxx