如何配置Spark SQL实现字段值的大小写不敏感查询

方案1：字段与查询条件统一转大小写匹配 #

通过lower()或upper()函数，把目标字段和查询字符串统一转换为小写或大写，就能实现大小写不敏感的模糊匹配。

示例SQL语句（转小写）：

SELECT name FROM Sample_DF WHERE lower(name) LIKE lower('%Robert%')

或者转大写：

SELECT name FROM Sample_DF WHERE upper(name) LIKE upper('%Robert%')

对应的Spark执行代码：

spark.sql("SELECT name FROM Sample_DF WHERE lower(name) LIKE lower('%Robert%')").show()

执行后返回结果：

+--------+
|    name|
+--------+
|  Robert|
|  ROBERT|
|  robert|
+--------+

方案2：全局开启Spark SQL大小写不敏感（Spark 3.0及以上版本） #

如果业务场景需要全局范围内的大小写不敏感匹配，可以通过设置Spark配置参数实现：

spark.conf.set("spark.sql.caseSensitive", "false")

配置完成后，直接执行原查询语句就能返回所有大小写形式的匹配结果：

spark.sql("SELECT name FROM Sample_DF WHERE name LIKE '%Robert%'").show()

注意：这个配置是全局生效的，会影响所有字符串比较、LIKE匹配等操作，使用前需确认业务需求。

内容的提问来源于stack exchange，提问作者Techno04335