加载NLU医疗预训练模型抛出Exception错误,求排查方案
问题原因与解决方案
核心原因
你加载失败的医疗类NLU模型依赖**Spark NLP for Healthcare(JSL)**扩展库,而默认安装的NLU仅包含基础Spark NLP依赖,缺少医疗模块的核心组件,因此无法创建医疗模型对象。普通模型(如biobert、sentiment)基于基础Spark NLP即可运行,所以能正常加载。
解决步骤
安装兼容的依赖库
需额外安装Spark NLP for Healthcare库,同时确保所有依赖版本兼容(pyspark、spark-nlp、spark-nlp-jsl、nlu版本需匹配)。针对你使用的pyspark 3.0.2,执行以下安装命令:!pip install nlu pyspark==3.0.2 spark-nlp-jsl==3.3.4重新运行加载代码
安装完成后,重新执行模型加载与预测代码:import nlu model = nlu.load("en.med_ner.diseases") results = model.predict("I feel a bit drowsy & have a little blurred vision ") print(results)版本兼容注意事项
不同版本的pyspark、Spark NLP、Spark NLP for Healthcare、NLU之间存在严格的兼容约束,若后续仍出现错误,需检查版本是否匹配。
内容的提问来源于stack exchange,提问作者Romi
相关产品推荐
相关产品推荐

