Cloud Logging sink导出至BigQuery出现日志重复行该如何解决

Cloud Logging 导出 Sink 本身采用至少一次交付的语义设计，为避免极端场景下日志丢失，导出服务遇到网络波动、内部服务重试等情况时会重复推送同一条日志条目，是该场景下的常见现象，insertId 一致的重复行即可证明为同一条日志的重复推送，而非 Cloud Logging 侧存在重复日志。

临时查询去重 #

如果仅需要在查询时拿到无重复结果，可直接基于 insertId 做去重处理，参考SQL如下：

SELECT DISTINCT * EXCEPT(row_num)
FROM (
  SELECT
    *,
    ROW_NUMBER() OVER (PARTITION BY insertId ORDER BY timestamp DESC) AS row_num
  FROM `你的BigQuery日志表完整路径`
)
WHERE row_num = 1

大表场景下该方案性能优于直接使用 SELECT DISTINCT *，还可自定义规则保留重复行中的指定条目。

长期自动去重 #

• 方案1：将 BigQuery 目标表的 insertId 字段设置为表主键，开启 BigQuery 写入时自动去重能力，后续 Cloud Logging 推送的重复条目会被 BigQuery 自动忽略，无需额外处理，该方案适配 Cloud Logging 直写 BigQuery 的原生导出链路，改造成本最低。
• 方案2：配置 BigQuery 定时任务，按天/小时对日志表的历史分区做去重处理，删除重复行后覆盖原分区，适合已经存在大量历史重复数据的场景。
• 方案3：调整导出链路，先将 Cloud Logging 日志导出到 Pub/Sub，通过 Dataflow 流处理任务按 insertId 去重后再写入 BigQuery，可实现实时无重复写入，适合对数据一致性要求极高的场景。

内容的提问来源于stack exchange，提问作者Lazywii