如何将S3存储桶中的批量XML文件转换为JSON格式？

你现有的代码可以完成本地单个XML文件转JSON的需求，要扩展到处理S3中的批量文件，需要结合AWS的Python SDK（boto3）来操作S3存储桶，具体步骤如下：

现有单文件转换代码 #

import xmltodict
import json
with open("demo.xml") as xml_file:
    data_dict = xmltodict.parse(xml_file.read())
    json_data = json.dumps(data_dict)
    with open("datas.json", "w") as json_file:
        json_file.write(json_data)

这段代码仅能处理本地单个XML文件，下面是适配S3批量场景的实现。

批量处理实现步骤 #

1. 安装依赖包 #

需要用到boto3来操作S3，执行以下命令安装：

pip install boto3 xmltodict

（json是Python标准库，无需额外安装）

2. 配置AWS权限 #

确保运行代码的环境已配置AWS访问凭证，权限需包含：

• s3:ListBucket：列出目标桶内的文件
• s3:GetObject：读取XML文件内容
• s3:PutObject：写入转换后的JSON文件

你可以通过以下方式配置凭证：

• 在~/.aws/credentials文件中添加密钥（本地运行时常用）
• 设置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY环境变量
• 如果在AWS云服务（如EC2、Lambda）上运行，直接关联具备对应权限的IAM角色

3. 批量转换代码 #

下面是完整的批量处理代码，支持遍历指定前缀下的XML文件、转换后写入S3：

import boto3
import xmltodict
import json

def convert_single_xml(s3_client, bucket, xml_key, json_key):
    # 读取S3中的XML文件
    xml_obj = s3_client.get_object(Bucket=bucket, Key=xml_key)
    xml_content = xml_obj['Body'].read().decode('utf-8')
    
    # XML转JSON
    data_dict = xmltodict.parse(xml_content)
    json_str = json.dumps(data_dict, indent=4)
    
    # 将JSON写入S3
    s3_client.put_object(
        Bucket=bucket,
        Key=json_key,
        Body=json_str.encode('utf-8'),
        ContentType='application/json'
    )
    print(f"转换完成：{xml_key} → {json_key}")

def batch_convert_s3_xml(bucket_name, source_prefix="", output_prefix="converted_json/"):
    s3 = boto3.client('s3')
    # 分页遍历S3桶内的文件，避免单次请求文件数量限制
    paginator = s3.get_paginator('list_objects_v2')
    for page in paginator.paginate(Bucket=bucket_name, Prefix=source_prefix):
        if 'Contents' not in page:
            print("指定路径下无文件")
            continue
        for obj in page['Contents']:
            file_key = obj['Key']
            # 只处理XML后缀的文件
            if not file_key.endswith('.xml'):
                continue
            # 生成JSON文件的存储路径
            json_filename = file_key.split('/')[-1].replace('.xml', '.json')
            json_key = f"{output_prefix}{json_filename}"
            
            # 执行单个文件转换
            convert_single_xml(s3, bucket_name, file_key, json_key)

if __name__ == "__main__":
    # 替换为你的目标S3桶名称
    BUCKET_NAME = "your-target-bucket"
    # 可选：指定要处理的XML文件所在的前缀（比如某个文件夹）
    SOURCE_PREFIX = "raw_xml/"
    # 可选：转换后的JSON文件存放前缀
    OUTPUT_PREFIX = "processed_json/"
    
    batch_convert_s3_xml(BUCKET_NAME, SOURCE_PREFIX, OUTPUT_PREFIX)

代码说明 #

• convert_single_xml：封装单个XML文件的读取、转换和写入逻辑
• batch_convert_s3_xml：遍历指定前缀下的所有XML文件，批量调用转换函数，支持分页处理大量文件
• 可自定义路径前缀：通过SOURCE_PREFIX筛选要处理的文件范围，OUTPUT_PREFIX指定JSON文件的存放位置
• 格式化JSON输出：使用indent=4让JSON文件更易读

额外提示 #

• 如果XML文件采用非UTF-8编码，需要调整decode和encode的参数（比如'gbk'）
• 可以添加try-except块捕获转换异常，避免单个文件失败导致整个批量任务终止
• 针对超大XML文件，建议改用流式解析（比如xmltodict.parse支持流式处理），减少内存占用

内容的提问来源于stack exchange，提问作者Nisha naik