Hive与Spark SQL的regexp_extract输出差异及适配方案咨询

问题原因 #

1. 引号解析差异：Spark SQL默认遵循ANSI SQL规范，双引号用于标识标识符（如列名、表名），而非字符串字面量；但Hive允许双引号直接表示字符串，这导致你的目标文本被Spark错误解析为标识符，而非待处理的字符串。
2. 正则转义问题：在Python字符串中传递正则表达式时，\需要双重转义，否则无法正确传递给Spark SQL的正则引擎，导致字面.无法被正确识别。

修正后的代码方案 #

test1 = spark.sql("""SELECT regexp_extract(
    UPPER('This is the first sentence.This is second sentence. This is the third sentence'),
    '\\.([^\\.]+)\\.',
    1
) as s""")
test1 = test1.toPandas()
test1

修正说明 #

• 将目标字符串的双引号"改为单引号'，确保Spark SQL将其识别为字符串字面量。
• 正则表达式中的\.改为\\.，让Python正确传递转义符给Spark SQL，匹配字面意义的.。

备选方案（切换Hive方言） #

如果希望保留原语句的引号写法，可以将Spark SQL方言切换为Hive，统一引号解析规则：

# 切换为Hive SQL方言
spark.sql("SET spark.sql.dialect=hive")
# 执行原语句（此时双引号可表示字符串）
test1 = spark.sql("""SELECT regexp_extract(UPPER("This is the first sentence.This is second sentence. This is the third sentence"),'\\.([^\\.]+)\\.',1) as s""")
test1 = test1.toPandas()
test1

内容的提问来源于stack exchange，提问作者viji