Spark DataFrame判空错误求助：空DataFrame仍判定为非空

为什么你的判断逻辑失效？ #

• 当Spark SQL查询返回空结果时，df仍然是一个有效的DataFrame对象（只是不含任何行数据），因此df is not None永远为真，无法准确判断数据是否为空。
• Spark DataFrame是分布式数据集，不支持直接用len(df)获取长度，这会触发方法不存在的错误。

正确判断DataFrame是否为空的方法 #

方法1：使用isEmpty()方法（推荐）

这是Spark官方提供的专用方法，内部做了优化，无需扫描全量数据即可判断是否为空：

df = spark.sql("SELECT * FROM pts_dev.data_quality.rpa where family = '{0}' and mm_aaaa_ref = '{1}'".format(family,mm_aaaa))
display(df)

if df.isEmpty():
    print("empty")
else:
    print("not empty")

方法2：使用count()对比0

通过统计总行数判断，但注意count()会触发全量数据扫描，对于大型DataFrame性能较差：

if df.count() == 0:
    print("empty")
else:
    print("not empty")

额外建议：避免SQL注入风险 #

你的代码通过字符串拼接生成SQL语句，存在SQL注入安全隐患。建议改用更安全的参数化方式，比如：

# 使用DataFrame API（更推荐）
from pyspark.sql.functions import col

df = spark.table("pts_dev.data_quality.rpa") \
    .filter((col("family") == family) & (col("mm_aaaa_ref") == mm_aaaa))

# 或者使用SQL占位符（部分Spark版本支持）
df = spark.sql("SELECT * FROM pts_dev.data_quality.rpa where family = ? and mm_aaaa_ref = ?", (family, mm_aaaa))

内容的提问来源于stack exchange，提问作者Jose Maria Acevedo Reinoso