Databricks中带rsd参数的approx_count_distinct函数报错求助

问题描述 #

在Databricks环境中调用approx_count_distinct函数时，传入rsd（相对标准偏差）参数会触发py4j.Py4JException错误，不传入该参数则可正常执行。

测试数据集 #

+-------------+----------+------+
|employee_name|department|salary|
+-------------+----------+------+
|James        |Sales     |3000  |
|Michael      |Sales     |4600  |
|Robert       |Sales     |4100  |
|Maria        |Finance   |3000  |
|James        |Sales     |3000  |
|Scott        |Finance   |3300  |
|Jen          |Finance   |3900  |
|Jeff         |Marketing |3000  |
|Kumar        |Marketing |2000  |
|Saif         |Sales     |4100  |
+-------------+----------+------+

报错代码（带rsd参数时） #

from pyspark.sql.functions import approx_count_distinct, col
df.agg(approx_count_distinct(col("salary"), 0.05)).alias("salaryDistinct")

错误信息 #

py4j.Py4JException: Method approx_count_distinct([class org.apache.spark.sql.Column, class java.lang.Integer]) does not exist

原因分析 #

该错误源于Spark版本的API参数签名差异：

• Spark 3.0及以上版本中，approx_count_distinct的rsd参数要求通过关键字参数传递，直接使用位置参数会导致PySpark无法匹配正确的Java方法签名，从而触发报错。
• 若使用的是旧版Databricks Runtime（对应Spark 2.x），approx_count_distinct的参数命名为relativeSD而非rsd，直接传位置参数同样会引发方法匹配失败。

解决方法 #

方法1：使用关键字参数传递rsd（兼容Spark 3.x+，推荐） #

将rsd参数以rsd=数值的形式传入，示例代码：

from pyspark.sql.functions import approx_count_distinct, col
# 用关键字参数指定rsd值，示例为0.05
result = df.agg(approx_count_distinct(col("salary"), rsd=0.05).alias("salaryDistinct"))
result.show()

方法2：适配Spark 2.x版本（旧版Databricks Runtime） #

针对Spark 2.x，需使用relativeSD作为参数名，代码示例：

from pyspark.sql.functions import approx_count_distinct, col
result = df.agg(approx_count_distinct(col("salary"), relativeSD=0.05).alias("salaryDistinct"))
result.show()

执行结果 #

修正后的代码会返回薪资字段的近似去重计数，针对示例数据集，输出结果为：

+---------------+
|salaryDistinct|
+---------------+
|              6|
+---------------+

内容的提问来源于stack exchange，提问作者cornerstone347