Databricks Spark SQL列名含空格触发Delta Lake无效字符错误解决

AI 小北

2026-7-2

解决Databricks中Spark SQL写入Delta Lake时的列名无效字符错误

问题原因

Delta Lake默认列名规则禁止包含空格、逗号等特殊字符（ ,;{}()\n\t=），即便查询时用反引号包裹列名能正常执行，写入Delta表时仍会触发DELTA_INVALID_CHARACTERS_IN_COLUMN_NAMES错误。

解决方案

方案1：查询时重命名列（推荐）

将带空格的列名替换为Delta允许的合法名称（比如用下划线替代空格），从根源避免字符冲突。修改后的查询语句如下：

SELECT 
  Table1.`Client Id` AS Client_Id, 
  Name, 
  Address 
FROM Table1 
LEFT JOIN Table2 ON Table1.`Client Id` = Table2.`Client Id`

将上述结果写入Delta表即可，新列名Client_Id完全符合Delta命名规范。

方案2：修改Delta表属性允许特殊字符

如果必须保留原始含空格的列名，可通过设置Delta表的columnMapping.mode属性为name，开启特殊字符列名支持。

方式A：创建表时指定属性

CREATE TABLE IF NOT EXISTS your_target_table (
  `Client Id` STRING,
  Name STRING,
  Address STRING
) USING DELTA
TBLPROPERTIES (
  'delta.columnMapping.mode' = 'name'
)

执行原始查询并插入到该表：

INSERT INTO your_target_table
SELECT 
  Table1.`Client Id`, 
  Name, 
  Address 
FROM Table1 
LEFT JOIN Table2 ON Table1.`Client Id` = Table2.`Client Id`

方式B：写入时动态指定选项

若通过DataFrame写入，可在写入阶段直接指定选项：

# 执行查询获取DataFrame
df = spark.sql("""
SELECT 
  Table1.`Client Id`, 
  Name, 
  Address 
FROM Table1 
LEFT JOIN Table2 ON Table1.`Client Id` = Table2.`Client Id`
""")

# 写入Delta表时启用列名映射
df.write.format("delta") \
  .option("delta.columnMapping.mode", "name") \
  .mode("overwrite") \
  .save("/path/to/your/delta_table")