如何在Pandas转PySpark DataFrame时直接将缺失值转为NULL？

方案1：直接用Spark读取Excel（推荐，适合大数据集） #

跳过Pandas中转，使用Spark官方兼容的Excel读取库直接读取文件，原生将缺失值处理为NULL，且分布式处理性能更优。

首先确保Spark环境引入依赖（启动Spark时添加--packages com.crealytics:spark-excel_2.12:0.14.0，版本需匹配你的Spark和Scala版本），然后执行代码：

spark_df = spark.read.format("com.crealytics.spark.excel") \
    .option("header", "true") \  # 第一行作为表头
    .option("inferSchema", "true") \  # 自动推断列类型
    .option("treatEmptyValuesAsNulls", "true") \  # 将空值转为NULL
    .load(file_path)

该方法无需额外转换操作，所有缺失值会被直接识别为PySpark的NULL，同时避免了Pandas单节点处理大数据集的性能瓶颈。

方案2：优化Pandas读取参数+指定Spark Schema（必须用Pandas中转时） #

如果必须通过Pandas中转，先让Pandas统一识别所有缺失值标记，再通过指定Spark Schema强制列类型，避免object类型列被错误解析为字符串：

1. 读取Excel时覆盖所有缺失值标记：

pandas_df = pd.read_excel(
    file_path,
    na_values=['NaN', 'nan', 'NA', 'None', '']  # 包含所有可能的缺失值形式
)

2. 定义对应列类型的Spark Schema并转换：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType

# 根据你的Excel实际列结构调整Schema
custom_schema = StructType([
    StructField("user_id", IntegerType(), nullable=True),
    StructField("user_name", StringType(), nullable=True),
    StructField("user_score", DoubleType(), nullable=True)
])

spark_df = spark.createDataFrame(pandas_df, schema=custom_schema)

通过指定Schema，Spark会按定义的类型解析列，Pandas中的NaN会被正确转为对应类型的NULL，而非字符串。

为什么之前替换None的方法无效？ #

全为NaN的列在Pandas中若被识别为object类型（而非数值/日期类型），直接替换为None后，Spark仍会将其判定为字符串列，导致'NaN'字符串残留。而指定Schema或直接用Spark读取，能从根源上避免类型推断错误。

内容的提问来源于stack exchange，提问作者Purushottam Nawale