能否将KMS CMK存入缓存，减少S3和DynamoDB存储时的KMS调用？

首先明确：KMS CMK（客户主密钥）不会直接用于加密S3/DynamoDB数据，实际加密用的是KMS生成的数据密钥（Data Key）。若要减少KMS API调用，需缓存数据密钥而非CMK元数据。以下针对你尝试的两种缓存方式失效问题，给出具体修复方案：

一、修复Boto3 Core缓存失效问题 #

Boto3默认缓存仅针对幂等请求（如DescribeKey查询CMK信息），不会自动缓存GenerateDataKey这类非幂等接口的结果。要启用KMS相关缓存，需显式配置：

1. 先升级依赖包：

pip install --upgrade boto3 botocore

2. 创建带缓存配置的KMS客户端：

from botocore.config import Config
import boto3

# 配置缓存大小与过期时间（示例为1小时）
kms_config = Config(
    cache_config={
        'max_size': 100,
        'item_ttl': 3600,
        'disabled': False
    }
)

kms_client = boto3.client('kms', config=kms_config)

注意：此方式仅能缓存CMK元数据，无法缓存数据密钥，若目标是减少加密操作的KMS调用，需用自定义LRU缓存。

二、实现自定义LRU缓存（针对数据密钥） #

用functools.lru_cache时失效，通常是因为参数不可哈希（如传入了KMS客户端对象）。以下是正确实现：

1. 分离客户端初始化与密钥生成函数，避免将客户端作为缓存参数：

from functools import lru_cache
import boto3

# 全局初始化KMS客户端
kms_client = boto3.client('kms')

@lru_cache(maxsize=50)
def get_data_key(cmk_id: str, key_spec: str = 'AES_256'):
    """按CMK ID和密钥规格缓存数据密钥"""
    response = kms_client.generate_data_key(
        KeyId=cmk_id,
        KeySpec=key_spec
    )
    # 返回加密后的密钥（需随数据存储）和明文密钥（用于加密）
    return response['CiphertextBlob'], response['Plaintext']

2. 使用缓存的密钥加密数据示例：

# S3加密上传示例
s3_client = boto3.client('s3')
cmk_id = 'arn:aws:kms:us-east-1:123456789012:key/your-cmk-id'

# 从缓存获取数据密钥
ciphertext_key, plaintext_key = get_data_key(cmk_id)

# AES-GCM加密数据逻辑
import os
from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modes
from cryptography.hazmat.backends import default_backend

def encrypt_data(data: bytes, key: bytes):
    iv = os.urandom(16)
    cipher = Cipher(algorithms.AES(key), modes.GCM(iv), backend=default_backend())
    encryptor = cipher.encryptor()
    ciphertext = encryptor.update(data) + encryptor.finalize()
    return iv, ciphertext, encryptor.tag

# 加密并上传，同时存储密钥相关元数据
data = b"待存储的数据"
iv, encrypted_data, tag = encrypt_data(data, plaintext_key)
s3_client.put_object(
    Bucket='your-bucket',
    Key='encrypted-data',
    Body=encrypted_data,
    Metadata={
        'CiphertextKey': ciphertext_key.hex(),
        'IV': iv.hex(),
        'Tag': tag.hex()
    }
)

# 用完明文密钥后及时清零
plaintext_key = b''

3. 关键注意事项：

• 明文数据密钥仅在内存中使用，禁止持久化存储
• 根据业务并发量调整lru_cache的maxsize
• CMK轮换时，KMS会自动生成对应新版本的数据密钥，无需修改缓存逻辑

三、S3/DynamoDB原生加密的优化 #

若使用SSE-KMS或DynamoDB SSE-KMS加密，AWS会自动缓存数据密钥。若调用量仍高，可能是因为：

• 每次请求使用了不同的EncryptionContext，导致无法复用缓存
• 单表操作过于频繁，每个Item触发独立KMS调用

可调整加密上下文为固定值（业务允许的前提下），或批量处理数据减少请求次数。

内容的提问来源于stack exchange，提问作者Ayush Kumar