如何解决S3存储桶年度文件大小统计的脚本与Athena查询问题

一、修复Athena查询的路径问题 #

问题根源 #

Athena抛出HIVE_CANNOT_OPEN_SPLIT错误，是因为S3对象路径存在双斜杠//，Hive metastore默认会将多斜杠合并为单斜杠，导致解析后的路径与实际对象路径不匹配。

修复步骤 #

1. 修正SQL查询逻辑
   你原查询的GROUP BY包含"$file_size"，会导致按「年度+文件大小」分组，无法得到年度总大小，正确SQL应为：

   SELECT EXTRACT(YEAR FROM "$file_modified_time") AS last_modified_year,
          SUM("$file_size") AS total_size
   FROM s3_bucket_objects
   GROUP BY EXTRACT(YEAR FROM "$file_modified_time")
   LIMIT 100;
   

2. 重新同步S3元数据
   使用AWS Glue Crawler重新爬取目标存储桶，配置时勾选**"Recrawl S3 data sources"并启用"Follow symbolic links"**，让Crawler正确识别含双斜杠的路径，更新Athena表的元数据。

3. 修改Athena表属性
   若重新爬取后仍有问题，可通过ALTER TABLE添加属性强制保留路径中的多斜杠：

   ALTER TABLE s3_bucket_objects
   SET TBLPROPERTIES (
     "hive.input.dir.recursive" = "true",
     "hive.mapred.supports.subdirectories" = "true",
     "hive.s3.path.style.access" = "true"
   );
   

二、boto3脚本优化方案 #

你之前的脚本结果不准、大存储桶同步失败，大概率是未处理分页、存储类或版本过滤问题，优化后的脚本如下：

import boto3
from collections import defaultdict

def calculate_yearly_bucket_size(bucket_name):
    s3_client = boto3.client('s3')
    yearly_total = defaultdict(int)
    next_token = None

    # 循环遍历所有对象版本（处理分页）
    while True:
        if next_token:
            response = s3_client.list_object_versions(Bucket=bucket_name, ContinuationToken=next_token)
        else:
            response = s3_client.list_object_versions(Bucket=bucket_name)
        
        # 仅统计最新版本的对象（可根据需求调整是否包含历史版本）
        for version in response.get('Versions', []):
            if version.get('IsLatest', True):
                modify_year = version['LastModified'].year
                yearly_total[modify_year] += version['Size']
        
        next_token = response.get('NextContinuationToken')
        if not next_token:
            break
    
    # 转换为TB单位（保留2位小数）
    for year in yearly_total:
        yearly_total[year] = round(yearly_total[year] / (1024 ** 4), 2)
    
    return yearly_total

# 使用示例
target_bucket = "your-target-bucket"
size_result = calculate_yearly_bucket_size(target_bucket)
for year, tb_size in size_result.items():
    print(f"{year}年总大小：{tb_size} TB")

大存储桶优化建议 #

针对460TB的超大存储桶，直接遍历效率极低，推荐：

1. 启用S3 Inventory，定期导出全量对象元数据到指定S3路径；
2. 用Athena查询Inventory导出的CSV/Parquet文件统计年度大小，这比脚本遍历快得多。

方案选择建议 #

• 若你熟悉SQL且需要定期统计，优先修复Athena路径问题，配合S3 Inventory使用，效率最高；
• 若仅需单次统计或对SQL不熟悉，使用优化后的boto3脚本，针对大存储桶可分批次处理或结合S3 Inventory数据。

内容的提问来源于stack exchange，提问作者Snows