如何快速判断PySpark DataFrame是否为空？

你之前使用的df.count() == 0、df.rdd.isEmpty()都会触发全量数据扫描，在数据量较大时必然耗时极久；df.first().isEmpty()在DataFrame非空时能快速返回结果，但为空时仍需遍历所有分区确认无数据，效率同样低下。

推荐以下两种高效解决方案：

方案1：用limit(1)配合collect()判断 #

通过限制仅获取1条数据，彻底避免全量扫描：

def is_df_empty(df):
    return len(df.limit(1).collect()) == 0

limit(1)会让Spark只扫描最少的分区来尝试获取一条数据，一旦找到就立即停止扫描；若遍历完所有分区都无数据，才会判定为空，整体开销远低于全量统计。

方案2：利用take(1)简化判断 #

take(1)逻辑和limit(1).collect()一致，但写法更简洁：

def is_df_empty(df):
    return not bool(df.take(1))

take(1)尝试从DataFrame中获取1条记录，返回空列表则说明DataFrame为空，非空则表示存在数据，同样只会扫描必要的分区。

这两种方法的核心都是避免全量数据扫描，仅在必要时遍历最少的分区，在大数据场景下能大幅缩短判断耗时。

内容的提问来源于stack exchange，提问作者fernando fincatti