如何在PySpark SQL中用REGEX_REPLACE移除列中的\n和\r

问题根源 #

你遇到的问题是Python字符串的转义机制导致传递给Spark的正则表达式不符合预期：

• 在Python普通字符串中，'\n'和'\r'会被解析为实际的换行、回车字符，而非正则表达式中表示换行/回车的元字符。
• 这会导致Spark收到的正则模式出错，甚至错误匹配整个字符串，最终替换成空白。

解决方案 #

方案1：转义反斜杠 #

在正则模式中用\\n和\\r替代\n和\r，让Python将\\解析为单个\，传递给Spark正确的正则元字符：

df = spark.sql("select REGEXP_REPLACE(message,'\\n|\\r',' ') as replaced_message from delivery_sms")

方案2：使用Python原始字符串 #

在SQL字符串前添加r前缀，让字符串中的反斜杠不被Python转义，直接传递给Spark：

df = spark.sql(r"select REGEXP_REPLACE(message,'\n|\r',' ') as replaced_message from delivery_sms")

优化版本（匹配连续换行/回车） #

如果需要将连续的\n/\r替换为单个空格，可使用[\n\r]+作为正则模式，避免出现多个连续空格：

df = spark.sql(r"select REGEXP_REPLACE(message,'[\n\r]+',' ') as replaced_message from delivery_sms")

以上方案均可将原内容'hello\nworld\r'转换为期望的'hello world'。

内容的提问来源于stack exchange，提问作者ash