PySpark存储count为变量计算占比列时无法识别变量的问题咨询

cannot resolve 'c_value' 报错的核心原因是：expr()中的参数是SQL表达式字符串，你直接将c_value写在字符串内时，Spark SQL会将其识别为要查询的列名，而你分组聚合后的中间表仅包含major、n_students两列，自然找不到对应列。
你通过collect()[0][0]获取的c_value是本地Python变量，不是Spark DataFrame的列，需要先把它的实际值传入SQL表达式，或者转成Spark字面量参与计算。

方案1：用f-string拼接SQL表达式（最简单） #

直接用Python f-string把c_value的实际值注入到expr的SQL字符串中，修改后的代码如下：

c_value = current.agg({"sid": "count"}).collect()[0][0]
stud_major = (
    current
    .groupBy('major')
    .agg(expr('COUNT(*) AS n_students'))
    .select('major', 'n_students', expr(f'ROUND(n_students/{c_value}, 4) AS prop'))
)
stud_major.show(16)

方案2：用PySpark原生API计算（更规范，避免SQL字符串拼接问题） #

不用expr()，直接通过Spark内置函数操作，将Python变量用lit()转成Spark常量后参与计算：

from pyspark.sql.functions import col, round, lit

c_value = current.agg({"sid": "count"}).collect()[0][0]
stud_major = (
    current
    .groupBy('major')
    .count()
    .withColumnRenamed('count', 'n_students')
    .withColumn('prop', round(col('n_students') / lit(c_value), 4))
)
stud_major.show(16)

内容的提问来源于stack exchange，提问作者user1997567