PySpark读取Parquet文件时如何排除指定列

由于Spark的spark.read.parquet()没有提供直接排除列的参数，我们可以通过先获取文件schema再生成目标列列表的方式，在读取阶段就只加载需要的列，避免手动罗列大量列名：

步骤说明 #

1. 先获取Parquet文件的schema（无需加载全量数据，用limit(0)快速获取）
2. 根据要排除的列，筛选出需要保留的列名
3. 读取时指定仅加载这些保留列

Python 代码示例 #

# 1. 获取Parquet文件的schema（不加载实际数据）
parquet_schema = spark.read.parquet("/your/parquet/file/path").limit(0).schema

# 2. 指定要排除的列名
column_to_exclude = "target_column"

# 3. 生成需要保留的列列表
include_columns = [field.name for field in parquet_schema.fields if field.name != column_to_exclude]

# 4. 读取Parquet时仅加载目标列
df = spark.read.parquet("/your/parquet/file/path").select(*include_columns)

Scala 代码示例 #

// 1. 获取Parquet文件的schema
val parquetSchema = spark.read.parquet("/your/parquet/file/path").limit(0).schema

// 2. 指定要排除的列名
val columnToExclude = "target_column"

// 3. 生成需要保留的列列表
val includeColumns = parquetSchema.fieldNames.filter(_ != columnToExclude)

// 4. 读取Parquet时仅加载目标列
val df = spark.read.parquet("/your/parquet/file/path").select(includeColumns.map(col): _*)

补充说明 #

• 上述方法中，Spark的查询优化器会自动将select操作下推到读取阶段，实际不会加载被排除的列，完全符合“在read阶段完成”的要求
• 如果需要排除多列，只需修改筛选条件，比如if field.name not in ["col1", "col2"]（Python）或.filter(!List("col1", "col2").contains(_))（Scala）

内容的提问来源于stack exchange，提问作者Greencolor