如何理解PySpark中DataFrame[approx_count_distinct(salary): bigint]的含义？

方括号内容的含义 #

你看到的DataFrame[approx_count_distinct(salary): bigint]里的方括号，是PySpark用来展示DataFrameSchema结构的标准格式：

• 方括号内是该DataFrame的列定义，遵循列名: 数据类型的格式
• 这里的列名是PySpark自动生成的——因为你直接调用聚合函数但未指定别名，所以默认用完整的函数调用语句approx_count_distinct(salary)作为列名
• bigint是该列的数据类型，对应大整数类型，用来存储计数结果

结果DataFrame的结构确认 #

完全正确，这个结果就是一个仅含一行一列的DataFrame：

• 唯一的单元格里存储的就是薪资列的近似去重值计数（注意approx_count_distinct是近似估计算法，适合大数据场景下的快速统计，结果并非精确值）

自定义列名的约定 #

如果觉得自动生成的列名不够直观，你可以用.alias()方法自定义列名，示例代码如下：

df.select(approx_count_distinct("salary").alias("distinct_salary_count"))

执行后，Schema会变为DataFrame[distinct_salary_count: bigint]，可读性更强。

内容的提问来源于stack exchange，提问作者user2153235