如何在PySpark DataFrame中用两列值填充另一列的占位符

针对你需要用name和value列的值替换ErrorDescBefore列中%s占位符的需求，以下是两种可行的实现方案：

方案一：使用内置函数regexp_replace #

利用regexp_replace的替换次数参数，依次替换两个%s占位符：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, regexp_replace

spark = SparkSession.builder.appName("TemplateReplace").getOrCreate()

# 构建示例数据
data = [
    ("The error is in %s value is %s.", "xx", "z"),
    ("The new cond is in %s is %s.", "y", "ww")
]
df = spark.createDataFrame(data, ["ErrorDescBefore", "name", "value"])

# 生成ErrorDescAfter列
df_result = df.withColumn(
    "ErrorDescAfter",
    regexp_replace(
        regexp_replace(col("ErrorDescBefore"), "%s", col("name"), 1),  # 替换第一个%s
        "%s", col("value"), 1  # 替换第二个%s
    )
)

df_result.show(truncate=False)

执行后输出结果：

+-------------------------------+----+-----+-----------------------------------------+
|ErrorDescBefore                |name|value|ErrorDescAfter                           |
+-------------------------------+----+-----+-----------------------------------------+
|The error is in %s value is %s.|xx  |z    |The error is in xx value is z.           |
|The new cond is in %s is %s.   |y   |ww   |The new cond is in y is ww.              |
+-------------------------------+----+-----+-----------------------------------------+

方案二：使用自定义UDF #

如果模板逻辑更灵活（比如后续可能有不同数量的占位符），可以用Python的字符串格式化语法实现UDF：

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf, col
from pyspark.sql.types import StringType

spark = SparkSession.builder.appName("TemplateReplaceUDF").getOrCreate()

# 构建示例数据
data = [
    ("The error is in %s value is %s.", "xx", "z"),
    ("The new cond is in %s is %s.", "y", "ww")
]
df = spark.createDataFrame(data, ["ErrorDescBefore", "name", "value"])

# 定义格式化UDF
format_template_udf = udf(
    lambda template, name, value: template % (name, value),
    StringType()
)

# 生成ErrorDescAfter列
df_result = df.withColumn(
    "ErrorDescAfter",
    format_template_udf(col("ErrorDescBefore"), col("name"), col("value"))
)

df_result.show(truncate=False)

为什么format_string不合适？ #

format_string函数要求第一个参数是字面量常量格式串，无法直接传入DataFrame的列作为动态模板。比如format_string("固定模板%s", col("col1"))是合法的，但format_string(col("动态模板列"), col("col1"), col("col2"))会报错，因此不适用你的场景。

内容的提问来源于stack exchange，提问作者SDS