如何将Glue导出到S3的Redshift数据自动下载到本地网络驱动器

核心逻辑 #

所有导出、触发、同步标记逻辑全托管在AWS侧，仅在本地需要执行同步操作时临时拉起轻量进程，完全不需要本地常驻服务，且严格保证每个S3文件仅向本地同步一次，不会因本地文件被厂商取走就重复同步。 #

分步实现 #

1. 现有Glue导出流程适配 #

• 保留你当前Python Shell类型的Glue作业，完成Redshift数据导出到指定S3桶的逻辑
• 给导出的S3对象统一设置前缀，例如redshift-export/yyyyMMdd/，方便后续事件过滤
• 导出完成后自动给新生成的S3对象添加标签：sync_status = pending，标记为待同步

2. 事件触发与同步状态管理 #

• 给目标S3桶配置对象创建事件通知，仅匹配你导出的前缀，事件触发后调用Lambda函数
• Lambda函数执行以下逻辑：
  1. 检查新对象的sync_status标签为pending
  2. 将该对象的S3桶名、对象键、生成时间、ETag等元信息写入DynamoDB表，表中唯一键为S3对象ETag，同时记录synced字段为false

3. 单次无重复同步逻辑 #

你可以选择以下两种模式之一，都不需要本地常驻服务器：

模式1：轻量定时触发（推荐，资源占用极低）

• 本地仅需配置一条crontab（Linux）或计划任务（Windows），触发频率可以按照你的导出频率设置（比如每小时/每天一次）
• 计划任务每次执行时运行一段极简Python脚本，逻辑示例如下：

  import boto3
  import os
  # 初始化AWS客户端，提前在本地配置好有权限的AKSK
  dynamodb = boto3.resource('dynamodb')
  s3 = boto3.client('s3')
  table = dynamodb.Table('redshift-export-sync-status')
  # 替换为你的本地网络驱动器挂载路径
  local_mount_path = '/mnt/network-drive/third-party-folder'
  
  # 拉取所有待同步的文件
  pending_items = table.scan(FilterExpression='synced = :val', ExpressionAttributeValues={':val': False})['Items']
  
  for item in pending_items:
      bucket = item['s3_bucket']
      key = item['s3_key']
      local_file_path = os.path.join(local_mount_path, os.path.basename(key))
      # 下载到本地网络驱动器
      s3.download_file(bucket, key, local_file_path)
      # 标记为已同步，后续永远不会再次下载
      table.update_item(
          Key={'etag': item['etag']},
          UpdateExpression='SET synced = :val',
          ExpressionAttributeValues={':val': True}
      )
  

• 该模式的优势是本地计划任务每次执行仅需几秒，即使临时中断也不会重复同步，完全避免了AWS CLI sync会重复下载已删除本地文件的问题。

模式2：云端推送触发（完全不需要本地定时配置）

• 如果你连本地定时任务都不想配置，可以使用AWS Systems Manager的Run Command功能，在Lambda拿到新导出的文件后，直接触发你的本地已注册SSM Agent的设备执行同步脚本，同步完成后同样更新DynamoDB的同步状态即可。

可选优化项 #

• 如果需要同步大文件，可以将下载逻辑替换为aws s3 cp命令，增加--quiet参数减少日志输出
• 可以给DynamoDB配置TTL，自动删除30天以上的同步记录，减少存储成本
• 同步失败时自动写入死信队列，配置告警通知人工处理

内容的提问来源于stack exchange，提问作者Phani