使用Push-OutputBinding时如何避免Azure存储表插入重复条目？

问题根源 #

Azure存储表的输出绑定批量操作是原子性的，只要数组中有一个实体的PartitionKey+RowKey已存在，整个批量插入就会失败，返回"The specified entity already exists."错误，且旧的-Force/Upsert参数已不再支持。

解决方案1：过滤重复记录后批量插入 #

先查询表中已存在的实体，过滤掉API返回的重复记录，只插入新条目：

# 初始化存储表客户端
$tableName = "你的表名"
$storageAccountConnString = $env:AzureWebJobsStorage
$tableClient = [Azure.Data.Tables.TableClient]::new($storageAccountConnString, $tableName)

# 获取表中所有已存在的(PartitionKey, RowKey)组合
$existingKeys = @{}
$pageable = $tableClient.Query<Azure.Data.Tables.TableEntity>("")
foreach ($page in $pageable.AsPages()) {
    foreach ($entity in $page.Values) {
        $key = "$($entity.PartitionKey)|$($entity.RowKey)"
        $existingKeys[$key] = $true
    }
}

# 过滤API返回的记录，仅保留不存在的条目
$returnArray = @()
foreach ($record in $recordsFromApi) {
    $currentKey = "$($record.partitionKey)|$($record.userId)"
    if (-not $existingKeys.ContainsKey($currentKey)) {
        $tableData = [PsCustomObject]@{
            PartitionKey = $record.partitionKey
            RowKey = $record.userId
            data = $record.userData
        }
        $returnArray += $tableData
    }
}

# 批量插入过滤后的新记录
if ($returnArray.Count -gt 0) {
    Push-OutputBinding -Name dataTable -Value $returnArray -Clobber
}

解决方案2：逐个实体处理，支持插入/更新（Upsert） #

如果需要更新已存在的实体而非跳过，可直接使用Azure存储表SDK的Upsert接口，逐个处理每个实体，避免批量失败：

# 初始化存储表客户端
$tableName = "你的表名"
$storageAccountConnString = $env:AzureWebJobsStorage
$tableClient = [Azure.Data.Tables.TableClient]::new($storageAccountConnString, $tableName)

foreach ($record in $recordsFromApi) {
    # 创建TableEntity对象
    $entity = [Azure.Data.Tables.TableEntity]::new($record.partitionKey, $record.userId)
    $entity["data"] = $record.userData

    try {
        # 执行Upsert：存在则替换，不存在则插入
        $tableClient.UpsertEntity($entity, [Azure.Data.Tables.TableUpdateMode]::Replace)
    }
    catch {
        # 可选：记录错误，不中断后续处理
        Write-Error "处理实体[$($record.partitionKey)|$($record.userId)]失败: $_"
    }
}

注意事项 #

• 需在函数的requirements.psd1文件中添加依赖：@{'Azure.Storage.Tables' = '12.*'}，确保模块能被正确加载
• 若表中数据量极大，查询已存在实体时要注意分页处理（示例中已包含分页逻辑）
• 逐个处理的性能略低于批量插入，但容错性更强，支持自定义错误处理

内容的提问来源于stack exchange，提问作者GreenSaber