Databricks中Spark SQL含$字符的过滤查询行为是否符合预期？

这确实是Databricks环境下Spark SQL的预期行为，核心原因和Databricks对字符串中$的特殊处理逻辑有关：

• Databricks默认会把单引号包裹的字符串里的$识别为变量引用标识（类似Shell脚本里的变量替换逻辑）。当你执行select * from mytable where col1 = '$AG72i$GE'时，Spark会尝试解析$AG72i和$GE作为预定义变量，如果这些变量不存在，就会被替换为空字符串，导致实际执行的查询条件变成匹配空值或无效内容，自然查不到目标行。
• 而用\$转义后，相当于明确告诉Spark：这是普通的$字符，不要当作变量处理，所以能正确匹配表中存储的$AG72i$GE值。

虽然Spark官方基础文档里没特意提及等值过滤时需要转义$，但这是Databricks针对参数化查询场景做的增强特性——因为Databricks经常用到${变量名}这类参数化写法，所以单引号字符串里的$会被特殊解析。

额外小技巧 #

如果不想每次都手动转义$，也可以用双引号包裹目标字符串（前提是未开启spark.sql.parser.quotedRegexColumnNames这类特殊配置），例如：

select * from mytable where col1 = "$AG72i$GE"

双引号内的$会被当作普通字符处理，无需转义就能匹配成功。

内容的提问来源于stack exchange，提问作者reddy