在AWS Lambda中使用snowflake-connector-python遇numpy导入错误求助

问题核心 #

你的Lambda函数遇到两个关键问题：

1. numpy导入报错：ImportError: Error importing numpy: you should not try to import numpy from its source directory——本质是依赖包解压后的目录结构错误，Python误从numpy的源码根目录尝试导入。
2. 解压到/tmp/site-packages/无法识别依赖：sys.path配置时机错误，或后续代码覆盖PYTHONPATH导致依赖路径失效。

具体解决步骤 #

1. 重新打包依赖，确保结构正确 #

本地打包依赖时，必须保证压缩包内直接是numpy、pandas等包的目录，而非嵌套site-packages层级：

# 1. 创建临时目录存放依赖
mkdir packages

# 2. 安装所需依赖到该目录（指定snowflake连接器版本）
pip install numpy pandas snowflake-connector-python==3.15.0 elasticsearch -t ./packages/

# 3. 进入packages目录，直接打包内部所有内容
cd packages
zip -r ../packages.zip .

这样解压后，/tmp目录下会直接出现numpy、pandas等包的文件夹，而非先有site-packages再嵌套这些包。

2. 修正Lambda依赖加载逻辑 #

修改download_and_import_deps函数，调整sys.path和PYTHONPATH的配置时机，避免覆盖原有路径：

def download_and_import_deps():
    import os
    import sys
    import boto3
    import zipfile

    # 依赖存放的目标目录
    deps_dir = '/tmp'
    # 先将依赖目录加入sys.path最前面，确保优先加载
    if deps_dir not in sys.path:
        sys.path.insert(0, deps_dir)

    # 检查依赖是否已存在，避免重复下载解压
    if not os.path.exists(os.path.join(deps_dir, 'numpy')):
        # 从S3下载依赖包
        s3 = boto3.resource('s3')
        s3.meta.client.download_file('<bucket_where_zip_is_stored>', 'packages.zip', '/tmp/packages.zip')
        
        # 解压到/tmp目录
        with zipfile.ZipFile('/tmp/packages.zip', 'r') as z:
            z.extractall(deps_dir)

    # 配置PYTHONPATH，同时保留Lambda自身代码目录/var/task
    os.environ["PYTHONPATH"] = f"{deps_dir}:/var/task"

    # 正常导入依赖
    import numpy as np
    import pandas as pd
    from elasticsearch import Elasticsearch
    from elasticsearch import client
    import console_input as ci
    import aws_secrets as sec
    import snow_conn

3. 额外注意事项 #

• 依赖兼容性：Lambda运行在Amazon Linux 2环境下，打包依赖时最好在相同环境（如EC2实例、Cloud9环境，或使用Docker镜像public.ecr.aws/sam/build-python3.x）安装，避免出现编译后的二进制文件不兼容问题。
• /tmp目录容量限制：Lambda的/tmp目录最大可用空间为512MB，确保你的依赖包解压后不超过这个限制。

内容的提问来源于stack exchange，提问作者SeanCCSmith