如何在PySpark的pandas_udf函数中使用正则表达式？及TypeError报错原因与解决方法

错误原因 #

你遇到的TypeError: expected string or bytes-like object，核心问题很明确：你把pandas Series对象直接传给了Python标准库re模块的search()函数，但re的方法只能处理单个字符串/字节对象，无法识别Series这种批量数据结构。

在你的迭代器逻辑里，每次循环拿到的s是一整个pd.Series（比如包含["1","2","3"]这样的批量数据），而不是单个字符串。re.search()不知道怎么处理Series，自然就抛出了类型错误。

正确的实现方式 #

在pandas_udf中处理正则匹配，应该用pandas提供的**str系列向量化方法**——这些方法是专门为批量处理Series中的字符串设计的，会自动遍历每个元素执行操作，性能也比逐元素调用re方法要好得多。

方式1：迭代器风格的pandas_udf（适配你原来的写法）

修改你的函数，用str.contains()替代re.search()：

from pyspark.sql.functions import pandas_udf
from pyspark.sql.types import BooleanType
import pandas as pd
from typing import Iterator

@pandas_udf(BooleanType())
def is_one(iterator: Iterator[pd.Series]) -> Iterator[pd.Series]:
    for s in iterator:
        # str.contains会遍历Series的每个元素，执行正则匹配
        res = s.str.contains(r"1", regex=True)
        yield res

df = spark.createDataFrame(pd.DataFrame(["1", "2", "3"], columns=["v"]))
df.select(is_one(df.v)).show()

方式2：更简洁的Series-to-Series风格pandas_udf

如果不需要手动控制迭代器逻辑，这种写法更直观，PySpark会自动帮你处理批量数据的分发：

@pandas_udf(BooleanType())
def is_one_series(s: pd.Series) -> pd.Series:
    return s.str.contains(r"1", regex=True)

df.select(is_one_series(df.v)).show()

拓展：复杂正则场景的处理 #

如果需要更复杂的正则操作（比如提取匹配内容、自定义匹配规则），可以用pandas的其他str方法：

• 提取匹配内容：s.str.extract(r"(\d)", expand=False)
• 替换匹配内容：s.str.replace(r"1", "one", regex=True)
• 自定义逻辑（注意：apply是逐元素处理，性能比向量化方法差，尽量优先用str系列方法）：

  def custom_match(s: pd.Series) -> pd.Series:
      return s.apply(lambda x: bool(re.search(r"1", x)))
  

内容的提问来源于stack exchange，提问作者Andrey