Django应用中NLTK短语提取功能生产环境失效问题求助

我用Django开发了一个Web应用，需要实现从内容中提取短语的功能。开发环境中代码运行完全正常，但部署到生产环境后，调用NLTK模块的代码无法执行。

我基于NLTK编写的短语提取函数如下：

import nltk
from typing import List


def extract_phrases(content: str) -> List:
    # 分句
    sentences = nltk.sent_tokenize(content)
    # 初始化短语存储集合
    phrases = set()

    # 遍历每个句子
    for sentence in sentences:
        # 分词
        words = nltk.word_tokenize(sentence)

        # 获取词性标注
        pos_tags = nltk.pos_tag(words)

        # 初始化当前句子的短语列表
        current_phrase = []

        # 遍历每个词及其词性
        for word, pos_tag in pos_tags:
            # 如果是名词或形容词，加入当前短语
            if pos_tag.startswith("NN") or pos_tag.startswith("JJ"):
                current_phrase.append(word)
            # 如果不是名词/形容词且当前短语非空，保存短语并重置
            elif current_phrase:
                phrases.add(" ".join(current_phrase))
                current_phrase = []

        # 保存当前句子的最后一个短语（如果存在）
        if current_phrase:
            phrases.add(" ".join(current_phrase))

    return list(phrases)

注：我已经在虚拟环境中执行过以下命令下载NLTK数据：

import nltk
nltk.download('all')

可能的原因及解决办法 #

1. NLTK数据路径不匹配 #

开发环境中nltk.download('all')会把数据下载到默认路径，但生产环境可能因用户、配置差异，导致NLTK无法定位数据文件。

• 解决：
  • 在Django的settings.py中指定NLTK数据路径：

    import nltk
    nltk.data.path.append('/绝对路径/到/nltk_data')
    

  • 或者手动将开发环境中的nltk_data目录复制到生产环境项目目录下，再指定路径。

2. 虚拟环境未正确配置 #

生产环境部署时可能未使用虚拟环境的Python解释器，导致NLTK包未被加载。

• 解决：
  • 检查部署服务（如Gunicorn、UWSGI）的配置，确保使用虚拟环境内的Python路径。
  • 确认生产环境虚拟环境已安装NLTK：pip install nltk。

3. 文件权限不足 #

运行Web服务的系统用户（如www-data）可能没有读取NLTK数据文件的权限。

• 解决：
  • 修改NLTK数据目录的权限：

    chown -R www-data:www-data /路径/到/nltk_data
    chmod -R 755 /路径/到/nltk_data
    

4. 缺失系统级依赖 #

NLTK部分功能依赖系统库，生产环境可能未安装这些依赖。

• 解决：
  • 以Ubuntu/Debian为例，安装必要依赖：

    sudo apt-get install python3-dev libxml2-dev libxslt1-dev
    

内容的提问来源于stack exchange，提问作者Manoj Kamble