Spark 3.3读取Synapse SQL布尔/bit值后过滤崩溃问题求助

问题背景 #

Spark 3.1终止支持后，迁移Azure Synapse Notebook到3.3版本时，使用spark.read.sqlanalytics()读取Synapse SQL的bit类型列（df.dtypes显示为boolean），执行过滤操作会导致Notebook崩溃；但手动创建的BooleanType列过滤正常，该问题在Spark 3.1中不存在。

可能原因 #

Spark 3.3对Synapse SQL bit类型的映射逻辑存在兼容性缺陷：表面上列类型识别为boolean，但底层数据转换或存储格式与原生Spark BooleanType不匹配，触发过滤操作时的类型校验失败。

可行临时解决方案 #

• 强制类型转换：读取数据后显式将目标列转为BooleanType，再执行过滤：

  from pyspark.sql.functions import col
  from pyspark.sql.types import BooleanType
  
  df = spark.read.sqlanalytics("<your-table-path>")
  df = df.withColumn("target_bit_col", col("target_bit_col").cast(BooleanType()))
  df.filter(col("target_bit_col") == True).show()
  

• 基于原始数值过滤：利用Synapse SQL中bit类型实际存储为0/1的特性，直接用数值匹配绕过布尔类型校验：

  # 匹配"真"值
  df.filter(col("target_bit_col") == 1).show()
  # 匹配"假"值
  df.filter(col("target_bit_col") == 0).show()
  

• 升级Synapse Spark连接器：检查工作区中Synapse Spark连接器版本，升级到适配Spark 3.3的最新版本（可在Synapse库管理界面操作）。

社区情况 #

已有部分用户在Spark 3.3与Synapse SQL结合的场景下遇到同类问题，目前暂未看到官方发布针对性补丁，上述方案可有效缓解问题。

内容的提问来源于stack exchange，提问作者EindbaasJohn