Spark导出Azure SQL表至CSV时遇Incompatible format错误排查

核心问题分析 #

你遇到的AnalysisException: Incompatible format detected和路径已存在提示，主要是数据类型与目标格式不兼容、Spark写入模式未指定这两个原因导致，以下是针对性解决方案：

1. 先解决「路径已存在」报错 #

Spark默认写入模式是errorifexists，只要目标路径有文件就会报错，必须显式指定写入模式：

• 覆盖已有文件：用mode("overwrite")
• 追加到现有文件：用mode("append")
• 忽略已存在路径：用mode("ignore")

示例代码（CSV格式）：

jdbcDF.write.format("csv").mode("overwrite").save("wasbs://container@storageaccount.blob.core.windows.net/target-path")

2. 处理「Incompatible format detected」报错 #

针对Text格式：

Text格式仅支持单一字符串列，如果你的表有多列，直接写入会触发类型不兼容错误。解决方法是先合并所有列为单个字符串列：

import org.apache.spark.sql.functions.concat_ws

// 用逗号分隔所有列，生成单一字符串列
val singleColDF = jdbcDF.withColumn("all_data", concat_ws(",", jdbcDF.columns.map(col): _*)).select("all_data")
singleColDF.write.format("text").mode("overwrite").save("wasbs://container@storageaccount.blob.core.windows.net/text-path")

针对CSV/JSON格式：

这类报错通常是因为表中存在Spark无法直接序列化到对应格式的数据类型（比如二进制列、复杂嵌套结构）：

• 二进制列：将BinaryType转为Base64字符串后再写入

  import org.apache.spark.sql.functions.base64
  
  val processedDF = jdbcDF.withColumn("binary_column", base64(col("binary_column")))
  processedDF.write.format("csv").option("header", "true").mode("overwrite").save("wasbs://container@storageaccount.blob.core.windows.net/csv-path")
  

• 复杂嵌套结构（如Struct/Map）：CSV不支持嵌套类型，需要展开结构或转为字符串；JSON支持嵌套，但可添加参数优化序列化：

  // JSON格式处理嵌套结构
  jdbcDF.write.format("json").option("ignoreNullFields", "true").mode("overwrite").save("wasbs://container@storageaccount.blob.core.windows.net/json-path")
  

3. 额外排查点 #

• 确认Blob Storage权限配置正确：虽然Parquet能写入，但如果是SAS token权限受限（比如仅允许Parquet格式？可能性低，但可排查），需确保token有完整写入权限
• 检查Spark版本：旧版Spark（如2.0以下）对CSV/JSON的支持有bug，建议升级到3.x稳定版
• 避免路径包含特殊字符：Blob路径不要用空格、中文或特殊符号，尽量用英文小写字母和下划线

内容的提问来源于stack exchange，提问作者nam