如何在Google Cloud Log Explorer中查询时忽略重复结果?
GCP查询中直接过滤重复供应商的方案
不管你用的是BigQuery还是GCP其他支持SQL的数据分析工具,都可以通过以下两种方式在查询阶段直接去重,不用再手动处理Excel:
1. 用DISTINCT直接获取唯一供应商列表
如果只是要拿到特定月份、指定实例(比如meat)下的所有不重复供应商,在SELECT字段前加DISTINCT就行,示例SQL:
SELECT DISTINCT 供应商名称 FROM 你的数据集.你的表名 WHERE 实例名称 = 'meat' AND 交易日期 >= '2024-03-01' AND 交易日期 < '2024-04-01' -- 用这种范围写法能避免漏算带时间的记录
返回的结果里每个供应商只会出现一次,直接导出就好。
2. 用GROUP BY分组去重(附带统计需求)
如果还要统计每个供应商的相关数据(比如下单次数),用GROUP BY按供应商分组,自动去重的同时还能生成聚合统计:
SELECT 供应商名称, COUNT(*) AS 当月下单次数 FROM 你的数据集.你的表名 WHERE 实例名称 = 'meat' AND 交易日期 >= '2024-03-01' AND 交易日期 < '2024-04-01' GROUP BY 供应商名称
小提示
- 日期过滤尽量用
>=和<的组合,比BETWEEN更稳妥,尤其是当日期列包含时分秒时,不会漏掉当月最后一天的晚些时候的记录。 - 如果你的数据来自多个表,先通过
JOIN整合后,再套用上面的去重逻辑就行。
内容的提问来源于stack exchange,提问作者Ran
相关产品推荐
相关产品推荐

