Databricks环境下Spark-NLP 5.1.4报NoSuchMethodError问题求助

针对你在Databricks 14.1 ML GPU运行时（Spark 3.5.0、Scala 2.12）使用Spark-NLP 5.1.4加载bert_embeddings_bge_large时出现的NoSuchMethodError，可以尝试以下步骤解决：

• 安装Spark-NLP GPU专属版本
  你当前使用的是CPU版本的Spark-NLP，而Databricks GPU运行时需要适配CUDA环境的GPU版本包。卸载现有包后安装对应版本的GPU版：

  %pip uninstall -y spark-nlp
  %pip install spark-nlp-gpu==5.1.4 --exclude-packages pyspark
  

  加上--exclude-packages pyspark是为了避免与Databricks自带的Spark版本冲突。

• 排除冲突依赖
  如果仍有问题，检查是否存在依赖冲突。可以在安装时排除可能冲突的库，比如transformers或tensorflow相关依赖：

  %pip install spark-nlp-gpu==5.1.4 --exclude-packages pyspark transformers
  

• 重启集群并清理缓存
  安装完成后，重启Databricks集群，确保旧的依赖缓存被清除，新的包能正确加载。

• 验证模型加载参数
  确认BertEmbeddings的参数设置是否符合5.1.x版本要求，可尝试去掉setCaseSensitive(True)测试（该模型本身为大小写敏感，但部分环境下参数传递可能引发兼容问题）：

  bert_loaded = BertEmbeddings.pretrained("bert_embeddings_bge_large","en") \
      .setInputCols(["document", "token"]) \
      .setOutputCol("embeddings")
  

这些步骤可以解决绝大多数版本兼容和依赖冲突导致的NoSuchMethodError问题，同时保留你需要的5.1.0+版本功能（DocumentCharacterTextSplitter和bert_embeddings_bge_large）。

内容的提问来源于stack exchange，提问作者keithdewar