S3跨账号大文件传输KMS加密及Glue解密相关疑问

核心前提说明 #

非对称加密受密钥长度限制，无法直接处理100MB量级的大文件，因此必须采用混合加密方案：用随机生成的对称密钥加密文件本身，再用KMS非对称公钥加密这个对称密钥，最后将加密后的对称密钥与加密文件一同上传至S3。

疑问1：Glue/Glue Crawler如何解密文件内容？是否需要显式处理？ #

分两种场景判断：

• 使用AWS原生加密方案（CSE-KMS客户端加密或SSE-KMS服务端加密）：
  无需显式编写解密逻辑。只要Glue作业或Crawler关联的IAM角色拥有对应KMS密钥的kms:Decrypt权限，Glue读取S3文件时会自动调用KMS完成解密，Crawler也能正常识别文件结构并生成元数据。
• 自定义混合加密实现（未借助AWS原生加密工具）：
  必须在Glue作业中显式编写解密代码：先从S3读取加密后的对称密钥，调用KMS用私钥解密得到原始对称密钥，再用该密钥解密文件内容。这种情况下Crawler无法直接识别加密文件，需先通过Glue作业解密后再扫描。

疑问2：使用对称密钥方案时，是否需要显式管理文件解密？ #

同样分两种场景：

• SSE-KMS服务端加密：
  完全无需显式管理。上传时S3自动用指定的KMS对称密钥加密文件（传输层已通过TLS加密，存储层叠加KMS加密），下载时S3会自动调用KMS解密后返回明文，只要访问者拥有KMS密钥的kms:Decrypt权限即可。
• 客户端对称加密（含自定义混合加密中的对称密钥环节）：
  需要显式处理解密流程：
  1. 从S3获取加密后的对称密钥与加密文件；
  2. 调用KMS解密对称密钥（若对称密钥是用KMS加密存储的）；
  3. 用解密后的对称密钥解密文件内容。

内容的提问来源于stack exchange，提问作者pkd