如何使用PowerShell维护处理会话 实现文本文件逐行校验增量处理

针对你提到的允许文件中间插行、仅处理新增内容的需求，结合数百条数据的业务规模，以下两种方案均可落地，按需选择即可：

方案1：已处理条目去重法（优先推荐，适合行内容唯一的场景） #

如果你的1.txt中每行内容都不会重复，这是实现成本最低、稳定性最高的方案：

• 新增processed.log作为已处理条目持久化存储，每次处理成功的行都追加写入该文件
• 脚本启动时先将processed.log的内容加载到HashSet中，查询效率为O(1)，完全适配数百条甚至上万条数据的性能需求
• 遍历1.txt时仅处理不在已处理集合中的条目，处理完成后同步更新集合和持久化文件

示例代码：

# 初始化已处理集合
$processedSet = [System.Collections.Generic.HashSet[string]]::new()
if (Test-Path "processed.log") {
    Get-Content "processed.log" | ForEach-Object {
        [void]$processedSet.Add($_)
    }
}

# 遍历待处理文件
foreach ($line in Get-Content "1.txt") {
    if (-not $processedSet.Contains($line)) {
        # 此处替换为你的原有业务逻辑
        Write-Host "处理新行：$line"

        # 处理成功后更新已处理记录
        [void]$processedSet.Add($line)
        Add-Content "processed.log" -Value $line
    }
}

方案2：快照对比法（适合存在重复行内容的场景） #

如果你的业务允许1.txt中出现重复的行内容，可通过文件快照对比识别新增行：

• 每次脚本处理完成后，将当前1.txt复制为快照文件1.txt.snapshot
• 下次脚本启动时，对比当前1.txt和快照文件的差异，提取所有新增的行
• 仅处理新增行，处理完成后更新快照文件

示例代码：

$snapshotPath = "1.txt.snapshot"
$sourcePath = "1.txt"

# 首次运行无快照，全量处理
if (-not (Test-Path $snapshotPath)) {
    Get-Content $sourcePath | ForEach-Object {
        # 此处替换为你的原有业务逻辑
        Write-Host "处理行：$_"
    }
    Copy-Item $sourcePath $snapshotPath -Force
    exit
}

# 对比差异提取新增行
$oldLines = Get-Content $snapshotPath
$newLines = Get-Content $sourcePath
$newAddedLines = Compare-Object -ReferenceObject $oldLines -DifferenceObject $newLines | 
    Where-Object { $_.SideIndicator -eq "=>" } | 
    Select-Object -ExpandProperty InputObject

# 处理新增行
foreach ($line in $newAddedLines) {
    # 此处替换为你的原有业务逻辑
    Write-Host "处理新增行：$line"
}

# 更新快照
Copy-Item $sourcePath $snapshotPath -Force

两种方案均不需要修改原有业务逻辑，也无需引入第三方依赖，数百条数据的场景下运行耗时几乎可以忽略。

内容的提问来源于stack exchange，提问作者Pavan kumar D