使用Spark NLP 5.1.4进行Bert零样本分类时出现NoSuchMethodError错误

问题现象 #

在Databricks环境中完成Spark NLP安装后，多数功能可正常使用，但运行Bert零样本分类代码时，抛出java.lang.NoSuchMethodError异常，核心报错信息为：

java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.encoders.RowEncoder$.apply(Lorg/apache/spark/sql/types/StructType;)Lorg/apache/spark/sql/catalyst/encoders/ExpressionEncoder;

异常本质原因 #

这个错误的核心是Spark版本与Spark NLP版本不兼容。RowEncoder$.apply方法的签名在不同Spark版本中存在差异，你当前安装的Spark NLP版本依赖的Spark API签名，和Databricks集群使用的Spark版本不匹配，导致运行时无法找到对应方法，进而触发异常。

解决步骤 #

1. 确认当前环境版本：

   • 查看Databricks集群的Spark版本：在集群详情页查看，或运行代码print(spark.version)获取。
   • 确认已安装的Spark NLP版本：运行代码import sparknlp; print(sparknlp.version())获取。

2. 匹配兼容版本：
   根据Spark NLP版本兼容规则，确保Spark NLP版本与Spark版本适配。例如：

   • Spark 3.3.x → 适配Spark NLP 4.2.x及以上版本
   • Spark 3.2.x → 适配Spark NLP 4.0.x ~ 4.1.x版本
   • Spark 3.1.x → 适配Spark NLP 3.4.x ~ 3.5.x版本

3. 重新安装兼容版本：
   卸载现有不兼容的Spark NLP版本，安装对应适配版本。例如在Databricks notebook中执行：

   %pip uninstall spark-nlp -y
   %pip install spark-nlp==<兼容版本号>
   

4. 验证修复：
   重启notebook内核后，重新运行你的Bert零样本分类代码，确认异常是否消除。

内容的提问来源于stack exchange，提问作者jayansh bhartiya