如何在GCP Log Explorer中查找重复的特定文本日志？

核心思路 #

要定位带有随机数字的重复日志条目，关键是先提取日志的固定格式部分，再统计每个格式对应的出现次数，最终筛选出次数大于1的条目。

具体操作步骤 #

1. 编写Log Analytics查询语句 #

利用GCP日志分析的正则提取与分组统计能力，实现重复日志的定位：

-- 先过滤出目标格式的日志（替换为你的实际资源类型）
resource.type="your_resource_type"
textPayload matches "\[entry\] shipmentOrder \d+"
-- 提取日志中的随机订单ID
| parse textPayload with "\[entry\] shipmentOrder " order_id:string
-- 按订单ID分组，统计出现次数
| stats count() as log_count by order_id
-- 筛选出现次数大于1的重复条目
| where log_count > 1
-- 可选：关联原始日志查看完整内容
| join (
    resource.type="your_resource_type"
    | parse textPayload with "\[entry\] shipmentOrder " order_id:string
) on order_id

2. 适配实际日志结构 #

• 如果日志内容存储在jsonPayload而非textPayload中，替换字段路径即可；
• 若订单ID包含字母或特殊字符，调整正则表达式\d+为匹配实际格式的规则（比如\w+）；
• 根据需要修改resource.type为你的服务对应的资源类型（如cloud_function、gce_instance等）。

3. 查看结果 #

执行查询后，会列出所有出现多次的订单ID，以及对应的原始日志条目，直接定位到重复的日志内容。

内容的提问来源于stack exchange，提问作者Jonathan Chevalier