PyArrow数组（含ChunkedArray）唯一值统计疑问：count_distinct与unique结果差异及正确统计方法

这确实是PyArrow分块数组处理中一个容易踩的小坑！先给你明确结论：你看到的count_distinct()返回36是预期行为，但它的逻辑是对每个分片独立计算去重数后求和，而不是全局去重后的计数。

为什么会出现这个结果？ #

你的ChunkedArray有18个分片，看起来每个分片里都包含100和250这两个非空值（可能还有null）。PyArrow的count_distinct()默认会对每个分片单独执行去重计数，然后把所有分片的结果加起来——也就是18个分片×每个分片2个非空唯一值，最终得到36。这种设计是为了最大化分块数据的处理效率，避免一次性加载所有分片数据到内存做全局去重，但显然不符合你想要的全局统计需求。

正确统计非空唯一值数量的方法 #

根据你的PyArrow版本，有两种可靠的解决方案：

方案1：兼容所有PyArrow版本（通用方法） #

先通过unique()获取全局范围内的所有唯一值（包括null），再过滤掉null后统计数量：

import pyarrow.compute as pc

# 获取全局唯一值数组
unique_values = pc.unique(a)
# 过滤掉null值
non_null_unique = pc.filter(unique_values, pc.not_(pc.is_null(unique_values)))
# 统计数量
print(len(non_null_unique))  # 输出2

或者更简洁的链式写法：

print(pc.count(pc.unique(a), skip_nulls=True))  # 输出2

方案2：PyArrow 14.0+ 专属优化写法 #

从PyArrow 14.0版本开始，count_distinct()新增了mode参数，设置为"global"即可直接执行全局去重计数，同时搭配skip_nulls=True排除null值：

print(pc.count_distinct(a, mode="global", skip_nulls=True))  # 输出2

补充说明：非分块Array的情况 #

如果是单个非分块的pyarrow.lib.Array，count_distinct()默认就会返回全局去重数（因为只有一个分片），不需要额外处理。比如：

single_array = a.combine_chunks()  # 把ChunkedArray合并为单个Array
print(pc.count_distinct(single_array, skip_nulls=True))  # 输出2

不过这种方法需要把所有分片合并到内存，对于超大规模的数据集不推荐，还是优先用前面的两种方案。

内容的提问来源于stack exchange，提问作者shoojoe