PySpark读取可能为空的文件夹时如何返回None或空DataFrame？

你需要读取的ABC.csv是存储Parquet文件的文件夹，有时为空，直接调用spark.read.parquet会抛出异常。以下提供两种实现方案：

方案一：返回空DataFrame #

先检查目标路径是否存在有效数据文件，无数据时生成结构匹配的空DataFrame（也可生成无Schema的空DF），保证后续代码无需额外判空逻辑：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType  # 按需导入字段类型
import os

spark = SparkSession.builder.getOrCreate()
target_path = "/Users/test/Downloads/ABC.csv"

# 检查路径下是否有实际数据文件（排除Spark元文件和隐藏文件）
has_valid_data = False
if os.path.exists(target_path):
    # 过滤掉_SUCESS、_committed等元文件，以及.开头的隐藏文件
    valid_files = [f for f in os.listdir(target_path) if not f.startswith("_") and not f.startswith(".")]
    has_valid_data = len(valid_files) > 0

if has_valid_data:
    df = spark.read.parquet(target_path)
else:
    # 若需要固定Schema，替换为实际的结构定义，示例如下
    # empty_schema = StructType([
    #     StructField("id", StringType(), nullable=True),
    #     StructField("value", StringType(), nullable=True)
    # ])
    # df = spark.createDataFrame([], schema=empty_schema)
    
    # 无需固定Schema时，直接生成空DF
    df = spark.createDataFrame([], schema=None)

方案二：返回None #

如果需要在无数据时直接返回None，可按以下逻辑实现：

from pyspark.sql import SparkSession
import os

spark = SparkSession.builder.getOrCreate()
target_path = "/Users/test/Downloads/ABC.csv"

has_valid_data = False
if os.path.exists(target_path):
    valid_files = [f for f in os.listdir(target_path) if not f.startswith("_") and not f.startswith(".")]
    has_valid_data = len(valid_files) > 0

df = spark.read.parquet(target_path) if has_valid_data else None

注意：返回None后，后续调用DataFrame方法前必须先判断df is not None，否则会触发空指针异常。

关键说明 #

过滤_和.开头的文件是因为Spark写入Parquet时会自动生成_SUCCESS、_committed_xxx等元文件，这些文件不包含实际业务数据，必须排除才能准确判断文件夹是否为空。

内容的提问来源于stack exchange，提问作者lunbox