Spark 2.1.0集成Spacy 2.0.9遇Pickle序列化错误求助

我之前在适配Spark旧版本和spaCy的时候也碰到过类似的pickle序列化问题，虽然官方文档说spaCy v2支持pickle，但结合Spark 2.1.x的特性，还是有几个坑需要注意。给你几个可行的解决方案：

1. 避免在Driver端初始化nlp后传递到Executor #

spaCy的nlp对象虽然支持pickle，但Spark在跨进程传递对象时，可能会因为某些底层C扩展资源无法被正确序列化而报错。最稳妥的方式是让每个Executor进程独立初始化nlp对象，而不是在Driver端初始化后传过去。

你可以用懒加载的方式在UDF里初始化nlp，确保每个Executor只初始化一次：

from __future__ import unicode_literals
from pyspark.sql.functions import col, udf
from pyspark.sql.types import StringType
import spacy
from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("SpaCySparkDemo").getOrCreate()

# 定义全局变量，用于每个Executor进程缓存nlp对象
_nlp_instance = None

def process_text_with_spacy(text):
    global _nlp_instance
    # 每个Executor进程第一次调用时初始化nlp
    if _nlp_instance is None:
        _nlp_instance = spacy.blank('en')
    # 这里替换成你的实际文本处理逻辑
    doc = _nlp_instance(text)
    return " ".join([token.lemma_ for token in doc])

# 注册UDF
spacy_process_udf = udf(process_text_with_spacy, StringType())

# 测试示例
sample_df = spark.createDataFrame([("Hello this is a test sentence",)], ["raw_text"])
processed_df = sample_df.withColumn("processed_text", spacy_process_udf(col("raw_text")))
processed_df.show(truncate=False)

2. 检查并配置Spark的序列化参数 #

Spark 2.1.x默认的Python序列化器是PythonSerializer，基于pickle，但可能默认使用的协议版本和spaCy不兼容。你可以手动指定序列化相关的配置，确保和spaCy的pickle支持匹配：

spark = SparkSession.builder \
    .appName("SpaCySparkDemo") \
    .config("spark.serializer", "org.apache.spark.serializer.PythonSerializer") \
    .config("spark.python.serializer", "pickle") \
    .config("spark.python.dumpPickle", "True") \
    .getOrCreate()

另外，你可以先在本地测试nlp对象的pickle能力，排除spaCy本身的问题：

import pickle
nlp = spacy.blank('en')
# 尝试用协议2序列化（兼容Python2/3）
pickled_data = pickle.dumps(nlp, protocol=2)
loaded_nlp = pickle.loads(pickled_data)
# 如果本地能正常序列化/反序列化，那问题大概率出在Spark的跨进程传递上

3. 排查UDF中的其他不可序列化代码 #

如果上面的方案还是不行，检查你的UDF里是否用到了其他不可序列化的对象或资源——比如某些自定义的全局变量、未关闭的文件句柄等，这些也可能触发PicklingError。

总结一下：最可靠的方案还是在Executor端懒加载nlp对象，避免跨进程传递复杂的spaCy实例，这能绕过大部分序列化兼容性问题。

内容的提问来源于stack exchange，提问作者user3803714