Spacy Doc无法解析处理文本：Flask部署Heroku时的模型加载问题

我之前部署Flask+Spacy到Heroku时也碰到过一模一样的问题，大概率是模型依赖配置或者加载逻辑的问题，咱们一步步排查解决：

1. 先确保Pipfile里的依赖配置正确 #

Heroku上安装Spacy模型不能靠本地的python -m spacy download，必须把模型作为PyPI依赖直接声明在Pipfile里，这样构建时才会自动下载安装。你的Pipfile应该改成这样：

[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
flask = "*"
spacy = "*"
# 直接添加en_core_web_sm的PyPI包
en-core-web-sm = {extras = ["pip"], index = "pypi"}

然后运行pipenv lock生成Pipfile.lock，把这两个文件都提交到Git，确保Heroku构建时能正确安装模型。

2. 统一模型加载逻辑，避免环境分支问题 #

本地和Heroku的加载逻辑可以做兼容处理，同时加上错误捕获，方便排查问题：

import spacy
import logging
from flask import Flask, request, jsonify

app = Flask(__name__)
# 配置日志，方便查看Heroku上的加载情况
logging.basicConfig(level=logging.INFO)

def get_nlp_model():
    try:
        # 本地环境优先尝试加载简写的'en'
        nlp = spacy.load('en')
        logging.info("Loaded local 'en' model successfully")
        return nlp
    except OSError:
        # 生产环境加载PyPI安装的en_core_web_sm
        try:
            import en_core_web_sm
            nlp = en_core_web_sm.load()
            logging.info("Loaded en_core_web_sm model successfully")
            return nlp
        except Exception as e:
            logging.error(f"Failed to load model: {str(e)}")
            raise

# 全局加载模型，避免重复加载
nlp = get_nlp_model()

# 你的Flask端点
@app.route('/process-text', methods=['POST'])
def process_text():
    text = request.json.get('text', '')
    doc = nlp(text)
    # 测试输出，确认Doc对象正常工作
    logging.info(f"Processed text tokens: {[token.text for token in doc]}")
    # 这里写你的文本处理逻辑
    return jsonify({
        'tokens': [token.text for token in doc],
        'entities': [(ent.text, ent.label_) for ent in doc.ents]
    })

if __name__ == '__main__':
    app.run()

3. 排查Heroku构建日志 #

部署后去Heroku的应用日志里看构建过程，确认模型是否被正确安装：

• 搜索en-core-web-sm，应该能看到类似Installing en-core-web-sm-3.5.0的日志
• 如果没找到，说明Pipfile的配置有问题，重新检查依赖声明

4. 版本兼容性检查 #

本地和Heroku上的Spacy版本必须一致！如果本地用的是Spacy 3.x，Heroku上却装了2.x，模型加载后肯定会出问题。可以在Pipfile里指定固定版本，比如：

spacy = "==3.5.0"
en-core-web-sm = {extras = ["pip"], index = "pypi", version = "==3.5.0"}

按照上面的步骤调整后，应该就能解决Doc对象无法正常解析文本的问题了。

内容的提问来源于stack exchange，提问作者msmedes