Databricks中Spark写入Parquet超时问题求助

核心问题：数据量爆炸导致超时 #

你的代码在生成时间维度表时存在逻辑错误，导致数据量呈指数级膨胀：

• 初始通过cross join hours、minutes、seconds生成了一天86400条时间记录
• 后续连续三次explode(sequence(...))分别生成Hour、Minute、Second字段，相当于在每条原始时间记录上再生成246060=86400条重复数据
• 最终数据量达到74.6亿行，如此庞大的数据写入Parquet必然触发超时

优化后的正确代码 #

不需要通过多次cross join和explode生成冗余数据，直接利用Spark的时间序列函数生成完整的时间维度表，避免数据爆炸：

from pyspark.sql import functions as F

# 生成从00:00:00到23:59:59的所有秒级时间序列
time_df = spark.sql("""
    select sequence(to_timestamp('00:00:00', 'HH:mm:ss'), to_timestamp('23:59:59', 'HH:mm:ss'), interval 1 second) as time_seq
""").select(F.explode("time_seq").alias("timestamp"))

# 提取所需字段并生成维度属性
time_dim_df = time_df.withColumn("Time", F.date_format("timestamp", "HH:mm:ss")) \
    .withColumn("Hour", F.hour("timestamp")) \
    .withColumn("Minute", F.minute("timestamp")) \
    .withColumn("Second", F.second("timestamp")) \
    .withColumn("TimeID", F.row_number().over(F.orderBy("Time"))) \
    .withColumn("HourDescription", F.concat(F.lpad(F.col("Hour"), 2, "0"), F.lit(":00"))) \
    .withColumn("NextHour", (F.col("Hour") + 1) % 24) \
    .withColumn("HourBucket", F.concat(F.col("HourDescription"), F.lit(" - "), F.lpad(F.col("NextHour"), 2, "0"), F.lit(":00"))) \
    .withColumn("DayPart", F.when((F.col("Hour") >=0) & (F.col("Hour") <6), "Night")
                          .when((F.col("Hour") >=6) & (F.col("Hour") <12), "Morning")
                          .when((F.col("Hour") >=12) & (F.col("Hour") <18), "Afternoon")
                          .otherwise("Evening")) \
    .withColumn("BusinessHour", F.when((F.col("Hour") >=8) & (F.col("Hour") <18), "Yes").otherwise("No")) \
    .drop("timestamp", "NextHour")

# 写入Parquet
time_dim_df.write.parquet("/mnt/xxx/xx/xxx/")

额外优化建议 #

• 调整集群配置：如果需要处理更大规模的时间维度数据，可临时增加集群worker节点数、CPU和内存资源，同时调整Spark参数spark.sql.shuffle.partitions为集群核心数的2-3倍，提升并行处理能力
• 分区写入：按Hour字段分区写入Parquet，既能减少单文件大小，也能提升后续按小时维度查询的性能：

  time_dim_df.write.partitionBy("Hour").parquet("/mnt/xxx/xx/xxx/")
  

• 检查存储性能：确认挂载的存储（如ADLS/S3）读写链路正常，避免存储端成为性能瓶颈

内容的提问来源于stack exchange，提问作者user20042555