S3桶中批量读取带三位序号JSON.gz文件的循环格式化问题

核心是把循环变量的数字格式化为三位带前导零的字符串，以下是几种常用编程语言的实现方式：

Python 实现 #

以boto3操作S3为例，提供三种简洁的格式化方案：

方式1：f-string格式化（Python 3.6+ 推荐） #

import boto3

s3 = boto3.client('s3')
bucket_name = '你的桶名称'

for i in range(1, 1000):
    # 生成三位带前导零的序号
    part_num = f"{i:03d}"
    file_key = f"文件路径/part-{part_num}.gz"
    
    # 读取未解压的S3文件
    response = s3.get_object(Bucket=bucket_name, Key=file_key)
    file_content = response['Body']
    
    # 这里添加你的文件处理逻辑
    process_file(file_content)

方式2：str.zfill() 方法 #

part_num = str(i).zfill(3)

方式3：format() 函数 #

part_num = "{:03d}".format(i)

Bash + AWS CLI 实现 #

如果用shell脚本结合AWS CLI处理，可通过两种方式生成带前导零的序号：

方式1：printf 格式化循环变量 #

BUCKET_NAME="你的桶名称"
FILE_PATH="文件路径"

for i in {1..999}; do
    # 生成三位带前导零的序号
    part_num=$(printf "%03d" $i)
    file_key="${FILE_PATH}/part-${part_num}.gz"
    
    # 读取文件并处理（示例：通过管道直接传递给处理命令）
    aws s3 cp "s3://${BUCKET_NAME}/${file_key}" - | 你的处理命令
done

方式2：用seq生成带前导零的序列 #

for part_num in $(seq -w 1 999); do
    file_key="文件路径/part-${part_num}.gz"
    aws s3 cp "s3://你的桶名称/${file_key}" - | 你的处理命令
done

关键说明 #

• 所有方案的核心都是确保序号被格式化为固定三位长度，不足补前导零，以此精准匹配目标文件名。
• 无需额外解压操作，直接按生成的文件名读取S3对象即可（如Python中get_object返回的Body可直接读取压缩内容，具体处理逻辑按需调整）。

内容的提问来源于stack exchange，提问作者Kas