如何为AWS Lambda函数实现基于S3的持久化缓存？

我有一个Docker化的Python脚本作为AWS Lambda函数运行，触发时用py-xbrl提取XBRL文件数据。核心代码如下：

from xbrl.cache import HttpCache
from xbrl.instance import XbrlParser

def handler(event, context):
    sample_schema_url = "https://www.sec.gov/Archives/edgar/data/0000320193/000032019321000105/aapl-20210925.htm"

    cache = HttpCache('./cache')
    parser = XbrlParser(cache)

    xbrl_instance = XbrlParser.parse(sample_schema_url)
    return

本地缓存能大幅加快同类分类法的XBRL Schema读取速度（从数十秒缩短到十分之一秒），但缓存以文件形式存储，当前仅在Lambda热状态下保留，函数终止后就会销毁，而我的函数触发间隔较长，需要实现Lambda启动时从S3导入缓存，关闭时将缓存导出回S3的功能，且无法直接将S3桶设为文件路径目标。

实现思路 #

1. 缓存打包存储：将本地缓存目录打包成zip文件存储到S3，避免逐个文件传输的低效问题
2. 初始化阶段下载缓存：在Lambda handler之外的代码段（冷启动时执行）从S3下载缓存zip并解压到本地临时目录（Lambda的/tmp目录可写，最大支持10GB）
3. 执行后上传更新缓存：在handler执行完成后，将本地缓存目录重新打包上传回S3，覆盖旧缓存（或根据需求添加版本控制）
4. 异常处理：处理S3缓存不存在的首次运行场景，以及上传下载时的异常

完整代码示例 #

import os
import zipfile
import boto3
from xbrl.cache import HttpCache
from xbrl.instance import XbrlParser

# 配置参数
S3_BUCKET = "your-cache-bucket-name"
S3_CACHE_KEY = "xbrl_cache.zip"
LOCAL_CACHE_DIR = "/tmp/xbrl_cache"
LOCAL_ZIP_PATH = "/tmp/xbrl_cache.zip"

# 初始化S3客户端
s3 = boto3.client('s3')

def download_and_extract_cache():
    """从S3下载缓存zip并解压到本地目录"""
    os.makedirs(LOCAL_CACHE_DIR, exist_ok=True)
    
    try:
        # 下载缓存文件
        s3.download_file(S3_BUCKET, S3_CACHE_KEY, LOCAL_ZIP_PATH)
        # 解压到本地缓存目录
        with zipfile.ZipFile(LOCAL_ZIP_PATH, 'r') as zip_ref:
            zip_ref.extractall(LOCAL_CACHE_DIR)
        print("缓存从S3导入成功")
    except s3.exceptions.NoSuchKey:
        print("S3中无缓存文件，将创建新缓存")
    except Exception as e:
        print(f"缓存下载解压失败: {str(e)}")

def compress_and_upload_cache():
    """将本地缓存目录打包并上传到S3"""
    try:
        # 创建zip文件
        with zipfile.ZipFile(LOCAL_ZIP_PATH, 'w', zipfile.ZIP_DEFLATED) as zip_ref:
            # 遍历缓存目录，添加所有文件到zip
            for root, dirs, files in os.walk(LOCAL_CACHE_DIR):
                for file in files:
                    file_path = os.path.join(root, file)
                    # 计算在zip中的相对路径，避免包含/tmp前缀
                    arcname = os.path.relpath(file_path, LOCAL_CACHE_DIR)
                    zip_ref.write(file_path, arcname)
        # 上传到S3
        s3.upload_file(LOCAL_ZIP_PATH, S3_BUCKET, S3_CACHE_KEY)
        print("缓存上传到S3成功")
    except Exception as e:
        print(f"缓存压缩上传失败: {str(e)}")

# Lambda初始化阶段执行：下载缓存
download_and_extract_cache()

def handler(event, context):
    sample_schema_url = "https://www.sec.gov/Archives/edgar/data/0000320193/000032019321000105/aapl-20210925.htm"

    # 使用本地临时目录作为缓存路径
    cache = HttpCache(LOCAL_CACHE_DIR)
    parser = XbrlParser(cache)

    xbrl_instance = XbrlParser.parse(sample_schema_url)
    
    # 执行完成后上传更新后的缓存
    compress_and_upload_cache()
    
    return {"status": "success"}

关键注意事项 #

• Lambda权限配置：确保Lambda执行角色拥有S3的s3:GetObject和s3:PutObject权限，可通过IAM策略添加：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": ["s3:GetObject", "s3:PutObject"],
              "Resource": ["arn:aws:s3:::your-cache-bucket-name/*"]
          }
      ]
  }
  

• 缓存并发冲突：如果多个Lambda实例同时更新缓存，可能会出现覆盖问题。简单场景下可接受最后写入获胜；如果需要严格一致性，可添加S3版本控制，或在上传前检查文件最后修改时间。
• 临时目录限制：Lambda的/tmp目录在热启动时会保留，但冷启动时会清空，因此必须在初始化阶段重新下载缓存。
• Docker镜像配置：确保Docker镜像中包含boto3，可在requirements.txt中添加boto3>=1.28.0（zipfile为Python标准库，无需额外安装）。

内容的提问来源于stack exchange，提问作者Alex Howard