如何在Pandas中为含spaCy对象的列应用自定义匹配提取函数？

问题背景 #

使用spaCy处理Pandas文本列，通过Matcher匹配特定词汇（如德语的"Wort"和"Worten"），单句逻辑可正常运行，但批量处理1万+行的DataFrame时，应用自定义函数提取匹配文本触发报错：

ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

错误原因 #

原代码中df['spacy_sent'].apply(token_from_spacy_match, df['matches'], df['spacy_sent'])的用法存在两个核心问题：

• Pandas的Series.apply()方法中，额外参数需通过args/kwargs传递，直接传入整个Series会导致参数解析错误；
• 无法实现逐行匹配对应行的matches和spacy_sent值，引发真值判断歧义的报错。

解决方案 #

方法1：逐行处理整行数据（推荐） #

修改自定义函数，让它接收DataFrame的整行数据，从行中提取所需的matches和spacy_sent字段：

def token_from_spacy_match(row):
    match_tuples = row['matches']
    spacy_sentence = row['spacy_sent']
    matched_words = []
    for match_id, start, end in match_tuples:
        matched_span = spacy_sentence[start:end]
        matched_words.append(matched_span.text)
    return matched_words

调用时使用df.apply()并指定axis=1（按行处理）：

df['matchwords'] = df.apply(token_from_spacy_match, axis=1)

方法2：通过Lambda传递行参数 #

如果不想修改原函数，可使用lambda将每行的matches和spacy_sent作为参数传入原函数：

# 保留原自定义函数不变
def token_from_spacy_match(match_tuples, spacy_sentence):
    return_object = []
    for tup in match_tuples:
        match_span = spacy_sentence[tup[1]:tup[2]]
        return_object.append(match_span.text)
    return return_object

# 用Lambda逐行传递参数
df['matchwords'] = df.apply(lambda row: token_from_spacy_match(row['matches'], row['spacy_sent']), axis=1)

完整可运行代码示例 #

import spacy
import pandas as pd

# 初始化spaCy德语模型和Matcher
nlp = spacy.load("de_core_news_lg")
matcher = spacy.matcher.Matcher(nlp.vocab)
# 定义匹配模式：匹配小写为"wort"或"worten"的词汇
pattern = [[{'LOWER': "wort"}], [{'LOWER': "worten"}]]
matcher.add(1021, pattern)

# 创建测试数据集
df = pd.DataFrame({
    'num': [1, 2],
    'sentence': [
        'Generischer Satz mit einem bestimmten Wort und anderen Worten.',
        'Hier nur ein bestimmtes Wort.'
    ]
})

# 批量处理文本生成spaCy Doc列
df['spacy_sent'] = list(nlp.pipe(df['sentence'].tolist()))
# 生成匹配结果列
df['matches'] = df['spacy_sent'].apply(matcher)

# 自定义提取匹配词汇的函数
def token_from_spacy_match(row):
    match_tuples = row['matches']
    spacy_sentence = row['spacy_sent']
    matched_words = []
    for match_id, start, end in match_tuples:
        matched_span = spacy_sentence[start:end]
        matched_words.append(matched_span.text)
    return matched_words

# 应用函数生成目标列
df['matchwords'] = df.apply(token_from_spacy_match, axis=1)

# 打印结果（隐藏spaCy对象列和匹配元组列，仅展示关键内容）
print(df[['num', 'sentence', 'matchwords']])

运行后输出符合预期：

num                                           sentence       matchwords
0    1  Generischer Satz mit einem bestimmten Wort und...  [Wort, Worten]
1    2                        Hier nur ein bestimmtes Wort.          [Wort]

性能提示 #

• 对于1万+行的数据集，nlp.pipe()是高效的批量处理方式，避免了逐行调用nlp()的性能损耗；
• 两种解决方案的处理效率相近，可根据代码可读性需求选择。

内容的提问来源于stack exchange，提问作者Ivo