Spark SQL中SQL_Latin1_General_CP1_CS_AS排序规则的替代实现方案

要实现对应SQL_Latin1_General_CP1_CS_AS排序规则的语义（大小写敏感、重音敏感）的不等比较，以下是两种可行方案：

方案1：使用COLLATE子句（Spark 3.0+ 推荐） #

Spark 3.0及以上版本支持COLLATE语法，可直接指定匹配需求的排序规则：

• 方式1：使用预定义的Latin1大小写重音敏感规则

Col1 COLLATE latin1_general_cs_as <> col2

• 方式2：通过ICU规则字符串精确配置（更灵活）

Col1 COLLATE 'en_US@collation=cs;strength=tertiary' <> col2

其中collation=cs强制大小写敏感，strength=tertiary表示比较时区分基本字符、重音和大小写，完全贴合SQL_Latin1_General_CP1_CS_AS的语义。

方案2：二进制转换比较（兼容低版本Spark） #

如果你的Spark版本不支持COLLATE，可以通过二进制转换实现精确匹配——二进制比较基于字节层面的完全一致，天然满足大小写和重音敏感要求：

• 若原始字符串为Latin1编码：

CAST(Col1 AS BINARY) <> CAST(col2 AS BINARY)

• 若原始字符串为UTF-8编码，需先转Latin1（即ISO-8859-1）再转二进制：

CAST(CONVERT(Col1, 'UTF-8', 'ISO-8859-1') AS BINARY) <> CAST(CONVERT(col2, 'UTF-8', 'ISO-8859-1') AS BINARY)

注意：转换前需确保字符串字符都能被Latin1编码覆盖，避免出现乱码。

为什么不推荐使用upper函数？ #

upper()仅能转换字符大小写，无法从排序规则层面保证敏感比较——若Spark配置了spark.sql.caseSensitive=false，转大写后的比较依然可能不符合预期。此外，虽然upper()会保留重音（如é转É），但这只是字符转换，并非针对排序规则的语义实现，因此不是最优解。

内容的提问来源于stack exchange，提问作者Rashmi Jadhao