如何在PowerShell中对比两个CSV日志文件并新增差异行

阿华AIGC实验室

2026-5-25

解决CSV日志文件的差异合并问题

首先得说下你当前代码里的几个明显问题：

代码里的until循环没有对应的do开头，语法直接会报错
只对比了$csv1.time[$count]和$csv2.time（这里$csv2.time是整个列的集合，不是单个行的time值），逻辑完全不对，根本没法找出所有不在logs_all里的行
遍历只到$csv1.Count，但logs_new的行数可能比logs_all多，会直接漏掉后面的行

推荐两种靠谱的实现方式

方法1：用PowerShell内置的`Compare-Object`（最简单高效）

这个cmdlet就是专门用来对比对象集合的，我们可以指定用来判断唯一性的列（比如你提到的time，如果time是每条日志的唯一标识的话），然后提取出logs_new独有的行，再追加到logs_all里：

# 导入两个制表符分隔的CSV文件
$csvAll = Import-Csv -Path "logs_all.csv" -Delimiter "`t"
$csvNew = Import-Csv -Path "logs_new.csv" -Delimiter "`t"

# 对比两个集合，筛选出csvNew中独有的行（SideIndicator为"=>"代表只在差异对象里存在）
$newRows = Compare-Object -ReferenceObject $csvAll -DifferenceObject $csvNew -Property time -PassThru | Where-Object { $_.SideIndicator -eq "=>" }

# 如果有新行，就追加到原日志文件
if ($newRows) {
    $newRows | Export-Csv -Path "logs_all.csv" -Delimiter "`t" -Append -NoTypeInformation
    Write-Host "成功添加 $($newRows.Count) 条新日志"
} else {
    Write-Host "没有找到新的日志行"
}

方法2：自定义循环遍历（适合多列判断唯一性的场景）

如果time不是唯一标识（比如同一时间可能有多条不同日志），可以用多列组合来判断，这种方式更灵活：

$csvAll = Import-Csv -Path "logs_all.csv" -Delimiter "`t"
$csvNew = Import-Csv -Path "logs_new.csv" -Delimiter "`t"

# 先把logs_all里的所有唯一标识存到集合里，方便快速查找
# 这里假设用time+testtable作为唯一标识，你可以根据实际列调整
$existingKeys = $csvAll | ForEach-Object { "$($_.time)_$($_.testtable)" }

$newRows = @()
foreach ($row in $csvNew) {
    $currentKey = "$($row.time)_$($row.testtable)"
    # 如果当前行的标识不在已存在集合里，就加入新行列表
    if ($existingKeys -notcontains $currentKey) {
        $newRows += $row
    }
}

# 追加新行到原文件
if ($newRows) {
    $newRows | Export-Csv -Path "logs_all.csv" -Delimiter "`t" -Append -NoTypeInformation
    Write-Host "新增 $($newRows.Count) 条记录"
} else {
    Write-Host "无新增记录"
}