PySpark保存Delta格式文件时列名含特殊字符报错问题

问题原因 #

Delta Lake默认禁止列名包含 ,;{}()\t=这类字符，但列名里的冒号(:)和句号(.)在开启**列映射（Column Mapping）**的name模式后是允许的。你之前的参数没生效，大概率是参数配置方式不对——delta.columnMapping.mode需要作为会话全局参数或Delta表属性设置，而非仅在写入时通过option临时传递。

可行解决方案 #

方案1：先配置会话级参数再写入 #

在执行写入操作前，先设置Spark会话的Delta列映射参数，确保整个会话生效：

# 配置会话级Delta列映射参数
spark.conf.set("spark.databricks.delta.columnMapping.mode", "name")
spark.conf.set("spark.databricks.delta.properties.defaults.columnMapping.mode", "name")

# 执行Delta写入
sourcedf.write.mode("overwrite") \
  .option("header", "true") \
  .option("mergeSchema", "true") \
  .format("delta") \
  .save(path)

方案2：创建Delta表时显式指定属性 #

如果是新建表，可通过SQL语句直接指定表属性，后续写入自动支持特殊列名：

CREATE TABLE your_target_table (
  `column:with:colon` STRING,
  `column.with.dot` INT
)
USING DELTA
LOCATION 'your_adls_path'
TBLPROPERTIES (
  'delta.columnMapping.mode' = 'name',
  'delta.minReaderVersion' = '2',
  'delta.minWriterVersion' = '5'
)

之后用以下方式写入数据：

sourcedf.write.mode("overwrite").insertInto("your_target_table")

关键注意点 #

• 列映射name模式要求Delta版本满足：minReaderVersion ≥2、minWriterVersion ≥5，旧表需先升级版本。
• SQL操作特殊列名时，需用反引号(`)包裹；DataFrame写入时无需额外处理，只要参数配置正确即可。

内容的提问来源于stack exchange，提问作者Syed Faisal Abbas