分批将100万行的CSV写入S3

要将100万行的CSV文件分批写入S3，可以使用以下代码示例：

import csv
import boto3

def write_csv_to_s3(file_path, bucket_name, s3_key):
    # 创建S3客户端
    s3_client = boto3.client('s3')
    
    # 打开CSV文件
    with open(file_path, 'r') as csv_file:
        # 创建CSV读取器
        csv_reader = csv.reader(csv_file)
        
        # 设置每个批次的行数
        batch_size = 10000
        
        # 初始化批次计数器和数据列表
        batch_count = 0
        batch_data = []
        
        for row in csv_reader:
            # 将行添加到批次数据列表
            batch_data.append(row)
            
            # 检查是否达到批次大小
            if len(batch_data) == batch_size:
                # 构建批次文件名
                batch_file_name = f'batch_{batch_count}.csv'
                
                # 将批次数据写入本地临时文件
                with open(batch_file_name, 'w') as batch_file:
                    csv_writer = csv.writer(batch_file)
                    csv_writer.writerows(batch_data)
                
                # 将批次文件上传至S3
                s3_client.upload_file(batch_file_name, bucket_name, f'{s3_key}/{batch_file_name}')
                
                # 清空批次数据列表和增加批次计数器
                batch_data = []
                batch_count += 1
        
        # 检查是否还有剩余的数据
        if len(batch_data) > 0:
            # 构建最后一个批次文件名
            batch_file_name = f'batch_{batch_count}.csv'
            
            # 将剩余的数据写入最后一个批次文件
            with open(batch_file_name, 'w') as batch_file:
                csv_writer = csv.writer(batch_file)
                csv_writer.writerows(batch_data)
            
            # 将最后一个批次文件上传至S3
            s3_client.upload_file(batch_file_name, bucket_name, f'{s3_key}/{batch_file_name}')
            
            # 删除本地临时文件
            os.remove(batch_file_name)

# 指定CSV文件路径
file_path = 'data.csv'

# 指定S3桶名称和键（Key）
bucket_name = 'my-s3-bucket'
s3_key = 'csv-data'

# 调用函数将CSV写入S3
write_csv_to_s3(file_path, bucket_name, s3_key)

以上代码示例使用Python的csv模块和boto3库来实现分批将CSV写入S3。首先，它打开CSV文件并创建一个CSV读取器。然后，它设置了每个批次的行数，并初始化了批次计数器和数据列表。接下来，它遍历CSV文件中的每一行，并将其添加到批次数据列表中。当批次数据列表达到设定的批次大小时，它将批次数据写入本地临时文件，并使用Boto3上传该文件至S3。然后，它清空批次数据列表和增加批次计数器。最后，它检查是否还有剩余的数据，如果有，则将剩余的数据写入一个最后一个批次文件，并将其上传至S3。最后，函数返回并完成CSV文件的写入。