在Databricks（PySpark）中加速500GB大型CSV文件加载的方案咨询

一、解决单文件并行读取瓶颈 #

单个500GB的gz文件是单块压缩格式，Spark无法并行解压（gzip仅支持单线程解压），这是加载慢的核心瓶颈之一。

• 拆分大文件：用Linux的split命令将大文件拆分为多个小压缩文件（比如每个10-20GB），让Spark可以并行处理多个文件：

  split -b 10G file.csv.gz split_
  

  之后读取拆分后的所有文件：spark.read.csv("split_*")

二、CSV读取配置优化 #

• 禁用自动推断Schema：inferSchema=True会全量扫描文件推断字段类型，耗时极长。提前手动定义Schema：

  from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType
  
  custom_schema = StructType([
      StructField("user_id", IntegerType(), nullable=True),
      StructField("order_time", StringType(), nullable=True),
      StructField("amount", DoubleType(), nullable=True)
  ])
  df = spark.read.csv("file.csv.gz", schema=custom_schema, header=True)
  

• 明确基础参数：指定分隔符sep=","、引号规则quote='"'、是否有表头header=True，避免Spark猜测解析规则，减少耗时。
• 关闭多行解析：如果数据行不含换行符，保持multiLine=False（默认值），提升解析效率。

三、Spark集群资源调优 #

• 调整Executor资源：根据集群规模增加Executor数量、核数和内存，提升并行处理能力。比如提交任务时指定：

  spark-submit --num-executors 30 --executor-cores 4 --executor-memory 16G your_script.py
  

• 增加Driver内存：若Schema复杂或元数据处理量大，设置--driver-memory 8G避免内存不足导致的性能下降。
• 启用动态资源分配：开启spark.dynamicAllocation.enabled=true，让Spark自动根据任务负载调整Executor数量，最大化利用集群资源。

四、转换为列式存储格式 #

一次性将CSV转换为Parquet/ORC等列式存储格式，后续加载速度会大幅提升（这类格式支持并行读取、高效压缩和列裁剪）：

# 加载后写入Parquet，用Snappy压缩
df.write.parquet("data_parquet", mode="overwrite", compression="snappy")

# 后续直接读取Parquet，速度远快于CSV
df = spark.read.parquet("data_parquet")

五、压缩格式替换 #

gzip不支持并行解压，若有条件重新压缩源文件，换成支持并行处理的压缩格式：

• Snappy：解压速度快，适合频繁读取的场景
• LZO：压缩率和速度平衡，支持分块并行解压

六、按需加载数据 #

• 列裁剪：仅读取需要的字段，减少IO和内存占用：

  df = spark.read.csv("file.csv.gz", schema=custom_schema).select("user_id", "amount")
  

• 分区存储：加载后按日期、地域等字段分区存储，后续读取可仅加载目标分区，避免全量扫描。

内容的提问来源于stack exchange，提问作者Lazloo Xp