本地用SAM测试Lambda调用NLTK，无法读取Layer中的punkt数据

核心问题分析 #

从错误信息可见，NLTK仅在默认路径搜索资源，未覆盖Lambda Layer挂载的/opt目录；同时你的Layer文件夹结构可能不符合Lambda挂载规则，导致数据文件未被放置到正确可访问路径。

解决方案步骤 #

1. 修正Lambda Layer的文件夹结构 #

Lambda Layer会被挂载到运行环境的/opt目录下，因此nltk_data文件夹必须直接放在Layer的根目录下，结构示例如下：

nltkDataFilesLayer/
└── nltk_data/
    ├── tokenizers/
    │   └── punkt/
    │       ├── PY3/
    │       │   └── english.pickle
    │       └── ...（其他punkt相关文件）
    └── ...（其他NLTK数据文件夹，按需添加）

确保nltk_data内部层级和你本地通过nltk.download('punkt')获取的完全一致。

2. 为Lambda添加NLTK路径环境变量 #

在template.yml的Lambda函数配置中，添加NLTK_DATA环境变量，指向Layer挂载后的资源路径：

PlagCheckFunction:
  Type: AWS::Serverless::Function
  Properties:
    # 保留原有Runtime、Handler、CodeUri等配置
    Environment:
      Variables:
        NLTK_DATA: /opt/nltk_data
    Layers:
      - !Ref NltkDataLayer # 替换为你的Layer资源名称

该配置会直接告诉NLTK去/opt/nltk_data路径搜索资源文件。

3. 验证Layer的SAM配置正确性 #

确保你的Layer资源定义指定了兼容的Python版本，示例如下：

NltkDataLayer:
  Type: AWS::Lambda::LayerVersion
  Properties:
    LayerName: nltkDataFilesLayer
    ContentUri: ./nltkDataFilesLayer/ # 指向你的Layer目录
    CompatibleRuntimes:
      - python3.9
    Description: NLTK data files including punkt

4. 可选：在代码中手动添加数据路径 #

若环境变量配置生效存在异常，可在Lambda代码开头手动添加NLTK路径：

import nltk
# 添加Layer挂载的NLTK数据路径
nltk.data.path.append('/opt/nltk_data')

from nltk.tokenize import word_tokenize

def lambda_handler(event, context):
    text = event.get('text', '')
    tokens = word_tokenize(text)
    return {'tokens': tokens}

测试验证 #

1. 重新执行sam build，确保Layer和函数都正确打包
2. 运行sam local invoke plag_check --event events/event.json完成测试

内容的提问来源于stack exchange，提问作者KJ Ang