使用Azure Synapse查询数据时的编码异常问题排查

• 不可见Unicode空白字符干扰：虽然trim()前后字段长度一致，但可能存在trim无法移除的特殊空白字符，比如全角空格\u3000、不间断空格\u00A0、零宽空格\u200B等。Synapse的OPENROWSET在解析数据时可能自动标准化了这类字符，而PySpark的精确匹配会严格比对每个字符的原始编码，导致匹配失败。
• 控制字符残留：JSON源数据的属性可能包含换行符\n、回车符\r等控制字符，Data Flow写入Delta表时保留了这些字符，但SQL查询过程中自动忽略了这类不可见字符，PySpark精确匹配则会包含这些字符进行比对，导致不匹配。
• 字符串编码/标准化差异：Synapse Data Flow写入Delta表时，可能对字符串做了编码转换；而SQL查询时存在隐式的字符串标准化逻辑，PySpark的DataFrame则严格按照存储的原始字节进行比对，两者处理逻辑不一致导致精确匹配失败。

• 检查字符编码差异：用PySpark的ascii()和substring()函数查看字段每个字符的编码值，对比目标匹配值的编码：

  from pyspark.sql.functions import ascii, substring
  df.select("your_column", ascii(substring("your_column", 1, 1)).alias("first_char_code")).show()
  

• 移除所有Unicode空白字符后测试匹配：

  from pyspark.sql.functions import regexp_replace
  df.filter(regexp_replace("your_column", '\s', '') == "your_target_value").show()
  

  如果能返回结果，说明存在不可见空白字符问题。
• 清理控制字符后测试：

  df.filter(regexp_replace("your_column", '[\r\n]', '') == "your_target_value").show()
  

内容的提问来源于stack exchange，提问作者csukcl