如何在Azure Synapse Spark池正确安装Spark NLP并解决模型导入错误？

一、先确认版本匹配 #

• Spark-NLP的jar包版本必须和Spark池的Scala版本严格对应，比如你用的spark-nlp_2.12-4.4.0.jar，Spark池的Scala版本就得是2.12；Spark版本建议选3.0到3.3之间（Spark-NLP 4.x适配这个区间）
• Python版本要和spark_nlp-4.4.0-py2.py3-none-any.whl兼容，支持3.6到3.9版本，提前确认Spark池的Python环境版本

二、工作区包配置步骤 #

• 把spark_nlp-4.4.0-py2.py3-none-any.whl和spark-nlp_2.12-4.4.0.jar上传到Azure Synapse的工作区包库
• 进入目标Spark池的配置页面，找到「包」选项，添加这两个包后保存，必须重启Spark池才能让包生效

三、Notebook中正确初始化 #

启动Notebook后，先按以下方式初始化SparkSession，避免类加载冲突：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("SparkNLP") \
    .config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp_2.12:4.4.0") \
    .config("spark.driver.memory", "16G") \
    .config("spark.executor.memory", "16G") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .config("spark.kryoserializer.buffer.max", "2000M") \
    .getOrCreate()

之后再导入SparkNLP模块：

import sparknlp
from sparknlp.base import *
from sparknlp.annotator import *

四、解决预训练模型加载的ClassCastException #

• 模型版本要和Spark-NLP版本匹配：distilbert_base_uncased必须是适配4.4.0版本的模型，直接用pretrained()方法指定模型名和语言即可，会自动拉取对应版本：

distilbert = DistilBertEmbeddings.pretrained("distilbert_base_uncased", "en") \
    .setInputCols(["sentence", "token"]) \
    .setOutputCol("embeddings")

• 清理重复包：如果之前通过pip install手动装过spark-nlp，会导致Python包和工作区的Scala包版本冲突，执行pip uninstall -y spark-nlp移除本地安装的包
• 确保序列化配置正确：必须启用Kryo序列化（上面初始化代码已经包含），Spark-NLP的模型依赖Kryo处理复杂对象，缺省的Java序列化会引发类型转换错误
• 重启Spark池：如果之前配置过包但没重启，残留的旧类加载会导致异常，完全重启后再重新运行代码

内容的提问来源于stack exchange，提问作者Haritha Thilakarathne