PowerShell脚本实现仅复制源文件新增匹配条目至目标文件

算力阿峰

2026-7-5

问题分析

你的脚本存在几个关键问题，导致每次都会全量复制而非仅处理新增内容：

变量名错误：$originfile未定义，应该替换为$sourcefile，否则会导致读取源文件失败，后续逻辑完全失效
对比逻辑缺陷：仅通过最后一行判断是否有更新，若源文件新增多行，脚本仍会把所有符合error模式的内容全量追加，而非仅新增部分
无持久化状态记录：没有保存上次处理到的位置，无法区分已处理和未处理的内容

解决方案

核心思路是通过状态文件记录上次处理的源文件字节偏移量，每次仅读取该位置之后的新内容，过滤符合模式的条目追加到目标文件。以下是修正后的脚本：

# 定义文件路径
$sourceFile = 'C:\app\blade\inputlogs.log'
$destinationFile = 'C:\file\out\output.log'
$stateFile = 'C:\file\out\lastProcessedState.txt' # 存储上次处理的字节偏移量

# 初始化状态：如果状态文件不存在，默认从0开始（第一次运行）
if (-not (Test-Path $stateFile)) {
    0 | Out-File -Path $stateFile -Encoding ASCII
}
$lastOffset = [long](Get-Content $stateFile -Raw).Trim()

try {
    # 获取源文件当前的总字节数
    $sourceInfo = Get-Item $sourceFile
    $currentSize = $sourceInfo.Length

    # 处理源文件被截断的情况（比如应用清空日志）
    if ($currentSize -lt $lastOffset) {
        Write-Host "源文件已被截断，将从头开始处理" -ForegroundColor Yellow
        $lastOffset = 0
    }

    # 读取新增的内容：从上次偏移量到当前文件末尾
    if ($currentSize -gt $lastOffset) {
        Write-Host "读取源文件新增内容..." -ForegroundColor Yellow
        $reader = [System.IO.File]::OpenText($sourceFile)
        $reader.BaseStream.Seek($lastOffset, [System.IO.SeekOrigin]::Begin) | Out-Null
        
        $newContent = @()
        while (-not $reader.EndOfStream) {
            $line = $reader.ReadLine()
            if (-not [string]::IsNullOrWhiteSpace($line)) {
                $newContent += $line
            }
        }
        $reader.Close()

        # 过滤符合模式的条目（这里匹配'error'，可根据需求修改）
        $filteredContent = $newContent | Select-String -Pattern 'error' -CaseSensitive -SimpleMatch

        if ($filteredContent) {
            Write-Host "追加符合条件的内容到目标文件..." -ForegroundColor Green
            $filteredContent | Add-Content $destinationFile
        } else {
            Write-Host "无符合条件的新增内容" -ForegroundColor Yellow
        }

        # 更新状态文件为当前文件大小
        $currentSize | Out-File -Path $stateFile -Encoding ASCII
    } else {
        Write-Host "源文件无新增内容，跳过处理" -ForegroundColor Yellow
    }
} catch {
    Write-Host "处理出错: $_" -ForegroundColor Red
}

关键改进点

字节偏移量记录：通过记录源文件的字节位置，精准定位未处理内容，避免重复处理
文件截断处理：当应用程序清空日志时，自动重置处理位置，避免遗漏新内容
增量读取：仅读取上次处理后的新内容，提升效率，尤其针对大日志文件
空行过滤：保留原脚本的空行过滤逻辑，避免无效内容

定时执行配置

要实现每小时执行一次，可通过Windows任务计划程序配置：

创建新任务，触发器设置为"每小时"执行
操作选择"启动程序"，程序/脚本输入powershell.exe，添加参数-ExecutionPolicy Bypass -File "你的脚本完整路径.ps1"

内容的提问来源于stack exchange，提问作者GTGabaaron