Databricks社区版合并CSV生成DataFrame后Payment列全空解决咨询

以下是针对该问题的排查和解决步骤：

• 检查列名一致性
  两个原始CSV的Payment列名可能存在差异：比如大小写不一致（一个是payment、一个是Payment）、带空格（比如Payment ）、拼写错误（比如Payments）。这种情况下Spark会将不匹配的列视为不同字段，导致合并后对应列值为null。
  解决方法：

  1. 统一两个CSV文件的列名；
  2. 读取时指定强制Schema，明确列名和数据类型，确保两个文件的列映射一致：

     from pyspark.sql.types import StructType, StructField, StringType, DoubleType
     
     # 定义匹配业务数据的Schema
     custom_schema = StructType([
         StructField("Invoice ID", StringType(), nullable=True),
         StructField("City", StringType(), nullable=True),
         StructField("Customer type", StringType(), nullable=True),
         StructField("Unit price", DoubleType(), nullable=True),
         StructField("Tax 5%", DoubleType(), nullable=True),
         StructField("Total", DoubleType(), nullable=True),
         StructField("Payment", StringType(), nullable=True),  # 明确指定Payment列
         StructField("cogs", DoubleType(), nullable=True),
         StructField("gross income", DoubleType(), nullable=True),
         StructField("Rating", DoubleType(), nullable=True)
     ])
     
     # 读取两个CSV时都应用该Schema
     df1 = spark.read.csv("/FileStore/tables/file1.csv", header=True, schema=custom_schema)
     df2 = spark.read.csv("/FileStore/tables/file2.csv", header=True, schema=custom_schema)
     merged_df = df1.union(df2)
     

• 验证CSV读取参数
  可能是分隔符、编码设置错误导致Payment列未被正确解析：

  1. 检查CSV是否使用了非默认分隔符（比如分号;而非逗号,）；
  2. 检查文件编码是否一致（比如一个是UTF-8带BOM，一个是普通UTF-8）。
     解决方法：读取时指定正确的参数，例如：

  df = spark.read.csv("/path/to/your/file.csv", header=True, sep=";", encoding="UTF-8")
  

  同时可以单独读取每个CSV，查看Payment列是否有数据，排除单个文件读取异常的情况。

• 确保合并方式正确
  如果两个CSV的列顺序不一致，使用普通union()会导致列错位，Payment列被其他空值列覆盖。
  解决方法：使用unionByName()按列名合并，强制匹配列名：

  merged_df = df1.unionByName(df2, allowMissingColumns=False)
  

  allowMissingColumns=False会触发列名校验，避免因列缺失或顺序问题导致的数据异常。

• 排查Header解析异常
  部分CSV的Header行可能包含隐藏字符（如换行符、制表符），导致Spark识别的列名与实际不符。
  解决方法：先预览CSV的前几行内容，确认Header的准确性：

  # 查看CSV文件的前1000个字符
  print(dbutils.fs.head("/path/to/your/file.csv", 1000))
  

  如果发现Header有异常，直接修改CSV文件的Header行，或者读取时关闭自动Schema推断（inferSchema=False），配合自定义Schema使用。

内容的提问来源于stack exchange，提问作者DataScience Enthusiast