如何用SpaCy-GPU移除Polars DataFrame列中的停用词？

问题背景 #

我正在使用Polars DataFrame，希望借助GPU加速的SpaCy移除指定列中的停用词，已完成基础配置：

import polars as pl
import spacy

# 启用GPU并加载SpaCy模型
spacy.require_gpu()
nlp = spacy.load("en_core_web_sm")

# 示例Polars DataFrame
df_cleaned = pl.DataFrame({
    "TITLE": ["This is a title", "Another title", "Sample title"]
})

原本熟悉Pandas中用SpaCy处理文本的方式，但Polars中无法直接用类似Pandas的apply方法，尝试以下代码时报错Expr对象没有apply属性：

def remove_stopwords(text):
    doc = nlp(text)
    return " ".join([token.text for token in doc if not token.is_stop])

# 尝试应用函数到TITLE列（报错代码）
df_cleaned = df_cleaned.with_columns(
    pl.col("TITLE").apply(remove_stopwords).alias("TITLE")
)

需要找到Polars中替代Pandas apply的方案，实现高效的停用词移除并利用GPU加速。

解决方案：Polars中的两种函数应用方式 #

Polars中没有Expr级别的apply方法，替代方案分为元素级处理和批量处理两种，其中批量处理更适配SpaCy的GPU加速特性，效率更高。

1. 元素级处理：使用map_elements #

Polars的map_elements方法可对列中每个元素应用自定义函数，用法近似Pandas的apply：

def remove_stopwords(text):
    doc = nlp(text)
    return " ".join([token.text for token in doc if not token.is_stop])

# 使用map_elements替代apply
df_cleaned = df_cleaned.with_columns(
    pl.col("TITLE").map_elements(remove_stopwords).alias("TITLE")
)

2. 批量处理（推荐）：使用map_batches + SpaCy批量管道 #

SpaCy的nlp.pipe支持批量处理文本，能大幅提升GPU利用率和处理速度，尤其适合大数据量场景。结合Polars的map_batches方法实现批量处理：

def batch_remove_stopwords(series: pl.Series) -> pl.Series:
    # 用SpaCy批量处理文本列表
    docs = nlp.pipe(series.to_list())
    # 移除停用词并拼接成字符串
    processed_texts = [" ".join([token.text for token in doc if not token.is_stop]) for doc in docs]
    return pl.Series(processed_texts)

# 批量应用到TITLE列
df_cleaned = df_cleaned.with_columns(
    pl.col("TITLE").map_batches(batch_remove_stopwords).alias("TITLE")
)

为什么推荐批量处理？ #

• SpaCy的nlp.pipe会自动优化GPU资源分配，批量处理比单元素处理的GPU利用率高得多
• 减少函数调用开销，处理大数据量时性能提升明显

内容的提问来源于stack exchange，提问作者Naman Kumar Muktha