Spark/Hive如何计算列中正值占比？（PySpark 2.4环境）

没有专门的内置SQL函数直接计算某列的正值占比，但可以通过聚合函数+条件判断的组合来实现，这种方法同时适用于Spark SQL和HiveQL，完全兼容PySpark 2.4版本。

方法1：利用AVG计算占比 #

通过CASE WHEN将正值标记为1.0，非正值标记为0.0，再对标记值求平均值，结果就是正值的占比：

SELECT 
  AVG(CASE WHEN num_col > 0 THEN 1.0 ELSE 0.0 END) AS positive_ratio
FROM your_table;

• 用1.0而非1是为了强制返回浮点型结果，避免整数除法导致的精度丢失。

方法2：用COUNT条件计数除以总行数 #

统计满足条件的行数，再除以总行数得到占比：

SELECT 
  COUNT(CASE WHEN num_col > 0 THEN 1 END) / (COUNT(*) * 1.0) AS positive_ratio
FROM your_table;

• COUNT(CASE...)仅统计正值的行数（不满足条件时返回NULL，COUNT会忽略NULL值）；
• 乘以1.0是为了将整数除法转为浮点除法，确保结果是小数形式。

处理NULL值的情况 #

如果目标列存在NULL值，默认会被归为非正值。若想排除NULL值的影响，可以调整条件：

SELECT 
  AVG(CASE WHEN num_col > 0 AND num_col IS NOT NULL THEN 1.0 ELSE 0.0 END) AS positive_ratio
FROM your_table;

或者统计非NULL总行数来计算：

SELECT 
  COUNT(CASE WHEN num_col > 0 THEN 1 END) / (COUNT(num_col) * 1.0) AS positive_ratio
FROM your_table;

PySpark DataFrame API实现 #

如果习惯用DataFrame语法，也可以用PySpark内置函数实现：

from pyspark.sql.functions import avg, when

# 读取表
df = spark.table("your_table")
# 计算正值占比
result_df = df.select(avg(when(df.num_col > 0, 1.0).otherwise(0.0)).alias("positive_ratio"))
# 查看结果
result_df.show()

内容的提问来源于stack exchange，提问作者Felix