Spark学习中遇到countDistinct - value not found错误如何修正

1. 补全函数导入 #

这是该错误最常见的诱因，countDistinct是Spark SQL内置函数，不属于核心默认导入范围，需要在代码开头手动引入：

• Scala版本仅导入countDistinct单函数：

import org.apache.spark.sql.functions.countDistinct

• Scala版本导入所有Spark SQL内置函数（适合同时用到多个函数的场景）：

import org.apache.spark.sql.functions._

• PySpark版本导入语句：

from pyspark.sql.functions import countDistinct

2. 修正使用方式 #

如果已经完成导入还是报错，检查是否属于以下错误用法：

• 不要在RDD上调用countDistinct：RDD没有该方法，实现去重计数请用yourRdd.distinct().count()
• DataFrame聚合时的正确写法示例：

// 统计user_id列的去重值数量
df.agg(countDistinct("user_id").alias("unique_user_count")).show()

• 如果要以字符串表达式形式使用，需要配合expr方法：

import org.apache.spark.sql.functions.expr
df.agg(expr("countDistinct(user_id)").alias("unique_user_count")).show()

内容的提问来源于stack exchange，提问作者MasthanBasha