PySpark DataFrame中如何替换字符的首次出现？

假设你的DataFrame中有一列（比如命名为text）包含类似Gourav#Joshi#Karnataka#US#English的字符串，要仅替换第一个#为空格，可通过正则表达式替换实现，PySpark的regexp_replace函数支持这种需求。

实现思路 #

利用正则的非贪婪匹配特性，精准定位第一个#：

• ^(.*?)#：^匹配字符串开头，.*?非贪婪匹配第一个#之前的所有字符，#就是要替换的目标字符
• 替换为$1 ：$1指代前面括号捕获的内容，后面加空格完成替换

完整代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace, col

# 初始化SparkSession
spark = SparkSession.builder.appName("ReplaceFirstOccurrence").getOrCreate()

# 创建示例DataFrame
data = [("Gourav#Joshi#Karnataka#US#English",)]
df = spark.createDataFrame(data, ["text"])

# 替换第一个#为空格
df = df.withColumn("modified_text", regexp_replace(col("text"), "^(.*?)#", "$1 "))

# 查看结果
df.show(truncate=False)

输出结果 #

+------------------------------------+-------------------------------------+
|text                                |modified_text                        |
+------------------------------------+-------------------------------------+
|Gourav#Joshi#Karnataka#US#English   |Gourav Joshi#Karnataka#US#English    |
+------------------------------------+-------------------------------------+

内容的提问来源于stack exchange，提问作者Gourav Joshi