AWS DynamoDB导出至S3生成空文件，如何避免？

DynamoDB导出到S3时生成空文件是因为其分布式处理机制：导出任务会拆分成多个分片并行处理，每个分片无论是否处理到数据，都会生成对应文件。当表数据量小、分片分配不合理，或者导出范围（时间/分区键）内无数据时，就容易出现空文件。以下是几种实用的解决方式：

• 合理控制导出分片数：对于数据量较小的表，手动指定分片数为1（默认是系统自动分配，可能会多分片）。这样整个导出任务由单个分片处理，只要导出范围内有数据，就只会生成一个非空文件；若范围内无数据，才会生成空文件（这种情况本身也无实际数据需要导出）。

• 精准限定导出范围：

  • 按时间导出时，确保指定的ExportTime或时间范围确实包含表数据；
  • 按分区键导出时，明确设置PartitionKeyCondition，只导出有数据的分区区间，避免覆盖无数据的范围。
    这样每个分片都能分配到数据，减少空文件的产生。

• 自动清理空文件：如果无法避免空文件生成，可以通过Lambda函数自动删除S3中的0字节文件：

  1. 创建一个Lambda函数，配置S3的Put事件触发器（触发范围设为导出文件的前缀）；
  2. 函数逻辑示例（Python）：

     import boto3
     
     s3 = boto3.client('s3')
     
     def lambda_handler(event, context):
         for record in event['Records']:
             bucket = record['s3']['bucket']['name']
             key = record['s3']['object']['key']
             try:
                 obj_info = s3.head_object(Bucket=bucket, Key=key)
                 if obj_info['ContentLength'] == 0:
                     s3.delete_object(Bucket=bucket, Key=key)
             except Exception as e:
                 print(f"处理文件 {key} 出错: {str(e)}")
     

  3. 给Lambda函数配置足够的S3权限（允许s3:GetObject和s3:DeleteObject操作）。

• 利用导出筛选规则（若适用）：如果使用的是DynamoDB最新的导出功能，可通过筛选条件只导出符合特定条件的数据，避免无意义的分片任务生成空文件。

需要注意的是，空文件是DynamoDB分布式导出的正常产物，无法100%杜绝，但通过上述方法可以有效减少或自动清理这些文件。

内容的提问来源于stack exchange，提问作者Arpita Sheelavant