Spark DataFrame中如何为regexp_replace函数第二个参数指定列？

错误原因分析 #

你的代码存在两个关键问题：

1. substring("address", start, end)中，第一个参数传入了字符串字面量"address"，而非DataFrame的列对象，正确写法应为col("address")。
2. 即便修正参数，regexp_replace的第二个参数仅支持固定正则表达式字符串，不能传入Column类型的动态值——这就是触发TypeError: Column is not iterable的核心原因，Spark无法将Column对象当作可迭代的字符串模式处理。

正确实现方案 #

要将指定位置的文本替换为?，无需使用regexp_replace，直接通过字符串截取+拼接的方式更直接：

1. 截取原字符串的前start个字符
2. 生成对应长度的?字符串（长度为end - start + 1）
3. 截取原字符串从end+1位开始的剩余部分
4. 将三部分拼接为掩码后的字段

完整代码示例 #

from pyspark.sql.functions import col, substring, concat, lpad, length

data = [("John Doe", "123 Main St, Anytown, USA"),
        ("Jane Smith", "456 High St, Somewhere, USA")]

df = spark.createDataFrame(data, ["name", "address"])

start = 3
end = 10
mask_length = end - start + 1

df_masked = df.withColumn(
    "address_masked",
    concat(
        # 截取前start个字符
        substring(col("address"), 1, start),
        # 生成对应长度的?
        lpad("", mask_length, "?"),
        # 截取end之后的剩余字符
        substring(col("address"), end + 1, length(col("address")))
    )
)

df_masked.select("name", "address_masked").show(truncate=False)

运行结果 #

+----------+------------------------------+
|name      |address_masked                |
+----------+------------------------------+
|John Doe  |123????????, Anytown, USA    |
|Jane Smith|456??????????, Somewhere, USA|
+----------+------------------------------+

如果你的Spark版本是3.1及以上，也可以用repeat("?", mask_length)替代lpad("", mask_length, "?")，代码更直观：

from pyspark.sql.functions import repeat
# 其他代码不变
concat(
    substring(col("address"), 1, start),
    repeat("?", mask_length),
    substring(col("address"), end + 1, length(col("address")))
)

内容的提问来源于stack exchange，提问作者Saito Mieko