无法将转换后的数据写入Databricks Delta表的技术求助

问题描述 #

尝试将S3存储的Parquet数据导入Databricks，先执行了数据类型转换以适配Databricks，但转换后的数据无法写入Delta格式。

代码实现 #

导入依赖 #

from pyspark.sql.types import StructType, StructField, IntegerType, StringType, ArrayType

定义输入数据Schema #

input_schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("array_column", ArrayType(IntegerType()), True),
    StructField("set_column", StringType(), True),
    StructField("name", StringType(), True)   
])

从S3读取Parquet数据 #

input_data = spark.read \
  .option("header", "true") \
  .option("inferSchema", "false") \
  .schema(input_schema) \
  .parquet("/mnt/employee/employee_data/complex.parquet")

数据类型转换 #

converted_data = input_data.withColumn("id", input_data["id"].cast(IntegerType())) \
  .withColumn("array_column", input_data["array_column"].cast(ArrayType(StringType()))) \
  .withColumn("set_column", input_data["set_column"].cast(StringType())) \
  .withColumn("name", input_data["name"].cast(StringType()))

写入Delta格式 #

converted_data.write.format("delta").mode("overwrite").save("/mnt/data")

错误信息 #

执行写入操作时触发如下错误：

Cannot write incompatible data to delta table

详细原因：Delta表现有Schema与待写入数据Schema不兼容，具体为array_column字段类型不匹配——Delta表中该字段为Array(IntegerType)，但待写入数据为Array(StringType)。

数据示例 #

原始Parquet数据结构如下：

• id：整数类型
• array_column：整数数组类型（如[1,2,3]）
• set_column：字符串类型
• name：字符串类型

解决方案 #

1. 启用Schema合并：如果需要保留原有Delta表并更新Schema，写入时添加mergeSchema参数，允许Delta表自动合并兼容的Schema变更：

   converted_data.write.format("delta").mode("overwrite").option("mergeSchema", "true").save("/mnt/data")
   

2. 简化冗余转换：删除不必要的类型转换，仅保留需要变更的字段，减少Schema冲突风险：

   converted_data = input_data.withColumn("array_column", input_data["array_column"].cast(ArrayType(StringType())))
   

3. 验证转换后Schema：写入前先打印转换后的数据Schema，确认类型符合预期：

   converted_data.printSchema()
   

4. 清理目标路径（可选）：如果无需保留原有Delta表数据，可先删除目标路径再写入，彻底避免Schema冲突：

   dbutils.fs.rm("/mnt/data", recurse=True)
   converted_data.write.format("delta").mode("overwrite").save("/mnt/data")
   

内容的提问来源于stack exchange，提问作者hima sai