Redshift中COUNT(DISTINCT)多条件报错的替代方案咨询

Redshift确实不支持在COUNT(DISTINCT)中直接传入多列组合（这和Athena的行为不同），针对你统计每年用户有效访问次数（同一用户同一天仅算一次）的需求，以下是几种可行的替代实现方式：

1. 拼接多列为单一字符串 #

将userID和visit_date转换为字符串后拼接，确保每一组唯一组合对应唯一字符串，再对拼接结果做COUNT(DISTINCT)。注意添加分隔符避免歧义，同时处理可能的空值：

SELECT 
    DATE_PART_YEAR(visit_date) AS "year",
    COUNT(DISTINCT CONCAT(COALESCE(userID, ''), '|', CAST(visit_date AS VARCHAR))) AS unique_visits
FROM visits
GROUP BY DATE_PART_YEAR(visit_date)
ORDER BY year;

这里用|作为分隔符，避免不同的userID和日期组合拼接后产生相同字符串；COALESCE则是防止userID为空时拼接结果为null，导致统计遗漏。

2. 子查询先去重再统计 #

先通过子查询筛选出每个用户每天的唯一访问记录，再外层按年份统计总数，逻辑直观且不易出错：

SELECT 
    year,
    COUNT(*) AS unique_visits
FROM (
    SELECT 
        DATE_PART_YEAR(visit_date) AS year,
        userID,
        visit_date
    FROM visits
    GROUP BY DATE_PART_YEAR(visit_date), userID, visit_date
) AS daily_unique_visits
GROUP BY year
ORDER BY year;

子查询通过分组自动去重同一用户同一天的重复访问，外层直接统计去重后的记录数即可。

3. 使用HASH函数（大数据量场景优先） #

利用Redshift的HASH函数将多列转换为唯一哈希值，再对哈希值做COUNT(DISTINCT)，性能优于字符串拼接，适合数据量较大的场景：

SELECT 
    DATE_PART_YEAR(visit_date) AS "year",
    COUNT(DISTINCT HASH(userID, visit_date)) AS unique_visits
FROM visits
GROUP BY DATE_PART_YEAR(visit_date)
ORDER BY year;

注意：哈希函数存在极小的碰撞概率（不同列组合生成相同哈希值），如果对统计精度要求极高，优先选择前两种方法。

内容的提问来源于stack exchange，提问作者user22284214