PySpark写入SQL Server临时表时出现非布尔类型表达式错误

错误根源 #

报错提示SQL Server在需要布尔表达式的上下文收到非布尔类型，说明Spark生成的SQL语句存在语法错误，常见触发场景包括：

• TRUNCATE语句生成异常：使用option("truncate", "true")时，若目标临时表存在分区、索引视图或关联触发器，Spark生成的TRUNCATE语句会触发数据库语法校验错误；若表名包含特殊字符（如空格、SQL关键字）且未正确转义，也会导致语法问题。
• 字段值含SQL特殊字符：Quantity字段来自create_map+explode的结果，若原始Col1-Col19中存在单引号、括号等特殊字符，插入时未自动转义会破坏INSERT语句结构，引发语法错误。
• 表结构与DataFrame不匹配：若临时表的字段类型、数量近期变更，与DataFrame输出字段不兼容，会导致Spark生成的INSERT语句出现逻辑或语法错误。
• 版本兼容性问题：近期升级Spark或SQL Server JDBC驱动后，可能存在版本不兼容，导致生成的SQL不符合SQL Server语法规范。

解决步骤 #

1. 排查TRUNCATE选项问题 #

先移除truncate选项，改用默认的覆盖逻辑（删除重建表），验证是否报错：

df_final.write.mode("overwrite").jdbc(url=url, table=stg_tbl, properties=properties)

若必须保留TRUNCATE：

• 手动检查目标表是否存在触发器、分区或索引视图，必要时先禁用触发器或调整表结构；
• 若表名含特殊字符，用方括号包裹表名（如table="[stg_tbl]"）。

2. 清洗DataFrame中的特殊字符 #

对字符串字段转义SQL特殊字符，避免破坏语句结构：

from pyspark.sql.functions import regexp_replace, col

# 转义单引号
df_final = df_final.withColumn("Quantity", regexp_replace(col("Quantity"), "'", "''"))
# 过滤或填充null值（若目标表不允许null）
df_final = df_final.filter(col("Quantity").isNotNull())

3. 验证表结构匹配性 #

对比DataFrame与目标表的结构：

• 查看DataFrame结构：df_final.printSchema()
• 在SQL Server中查看表结构：EXEC sp_columns stg_tbl
  确保字段数量、类型完全匹配，若存在差异，调整DataFrame字段类型或修改表结构。

4. 检查版本兼容性 #

确认SQL Server JDBC驱动版本与Spark版本匹配（推荐SQL Server JDBC Driver 12.4+搭配Spark 3.x），若近期升级过组件，回退到之前的兼容版本测试。

5. 开启日志定位具体错误 #

开启JDBC日志查看Spark生成的实际SQL语句，精准定位语法问题：

• 在代码开头添加日志配置：

import logging
logging.basicConfig(level=logging.DEBUG)

• 或在Spark配置中添加：

spark.driver.extraJavaOptions=-Djava.util.logging.config.file=logging.properties

其中logging.properties需配置：

com.microsoft.sqlserver.jdbc.level=FINE
java.util.logging.ConsoleHandler.level=FINE
java.util.logging.ConsoleHandler.formatter=java.util.logging.SimpleFormatter

内容的提问来源于stack exchange，提问作者Sivaani