Spark DataFrame空值替换为'x'问题及Power BI可视化方案咨询

我需要将Spark DataFrame中的null值转换为字符串x，因为要把这个DataFrame导入Power BI制作箱线图，思路是让值为x的数据不参与计算，避免结果被高估。请问这种替换方式是否可行？有没有更优方案？

测试数据代码 #

data = [["1", "Amit", "DU", "I", "8", "6"],
        ["2", "Mohit", "DU", "I", "4", "2"],
        ["3", "rohith", "BHU", "I", "5", "3"],
        ["4", "sridevi", "LPU", "I", "1", "6"],
        ["1", "sravan", "KLMP", "M", "2", "4"],
        ["5", "gnanesh", "IIT", "M", "null", "8"],
       ["6", "gnadesh", "KLM", "c", "10", "null"]]

columns = ['ID', 'NAME', 'college', 'metric', 'x', 'y']

dataframe = spark.createDataFrame(data, columns)

实际输出 #

+---+-------+-------+------+----+-----+
| ID|   NAME|college|metric|  x |  y  |
+---+-------+-------+------+----+----+
|  1|   Amit|     DU|     I|  8 |  6 |
|  2|  Mohit|     DU|     I|  4 |  2 |
|  3| rohith|    BHU|     I|  5 |  3 |
|  4|sridevi|    LPU|     I|  1 |  6 |
|  1| sravan|   KLMP|     M|  2 |  4 |
|  5|gnanesh|    IIT|     M|null|  8 |
|  6|gnadesh|    KLM|     c| 10 |null|
+---+-------+-------+------+----+----+

期望输出 #

+---+-------+-------+------+----+-----+
| ID|   NAME|college|metric|  x |  y  |
+---+-------+-------+------+----+----+
|  1|   Amit|     DU|     I|  8 |  6 |
|  2|  Mohit|     DU|     I|  4 |  2 |
|  3| rohith|    BHU|     I|  5 |  3 |
|  4|sridevi|    LPU|     I|  1 |  6 |
|  1| sravan|   KLMP|     M|  2 |  4 |
|  5|gnanesh|    IIT|     M|  x |  8 |
|  6|gnadesh|    KLM|     c| 10 |  x |
+---+-------+-------+------+----+----+

我尝试的代码（仅对数值类型有效，字符串类型无效） #

data = data.fillna({'y':'x'})

一、替换为x的可行性分析 #

可行，但存在局限性：

• 优势：Power BI箱线图默认忽略非数值类型数据，替换为x后，这些数据确实不会参与统计计算，能避免结果高估。
• 劣势：会将原本的数值型字段（如x、y列）强制转为字符串类型，后续若需对这些列做数值分析，必须额外做类型转换，增加复杂度。

二、更优方案 #

方案1：保留原生null，在Power BI中自动处理 #

Spark的原生null导入Power BI后，箱线图会自动忽略null值，无需额外替换。这种方式能保留字段的数值类型，后续做其他分析更灵活。

方案2：用数值型特殊标记替换null #

如果必须在Spark中做标记，建议用数值型的NaN替换null，Power BI同样会忽略NaN值，同时保持字段的数值类型：

from pyspark.sql.functions import when, col

# 将null替换为NaN，同时转换为浮点型
dataframe = dataframe.withColumn("x", when(col("x").isNull(), float("nan")).otherwise(col("x").cast("float")))
dataframe = dataframe.withColumn("y", when(col("y").isNull(), float("nan")).otherwise(col("y").cast("float")))

三、实现期望输出的正确代码 #

如果坚持要将null替换为字符串x，可以用when函数显式处理，确保对所有类型字段生效：

from pyspark.sql.functions import when, col

# 对指定列的null值替换为字符串'x'
dataframe = dataframe.withColumn("x", when(col("x").isNull(), "x").otherwise(col("x")))
dataframe = dataframe.withColumn("y", when(col("y").isNull(), "x").otherwise(col("y")))

dataframe.show()

内容的提问来源于stack exchange，提问作者Gaaaa