AWS环境下如何实现CSV文件到XLSX格式的转换

以下方案均适配补丁更新报告的制作、推送需求，你可以根据自己的使用场景选择：

1. 无服务器自动处理：Amazon Lambda #

• 适用场景：单CSV文件体积1GB以内、需要上传即自动转换、希望对接后续自动通知推送流程的场景
• 实现步骤：
  1. 提前为Lambda配置包含pandas、openpyxl依赖的Lambda层，避免部署包超过大小限制
  2. 编写转换逻辑，核心代码示例如下：

import pandas as pd
import boto3
from io import BytesIO

s3 = boto3.client('s3')

def lambda_handler(event, context):
    # 读取S3触发事件对应的CSV补丁报告
    bucket = event['Records'][0]['s3']['bucket']['name']
    csv_key = event['Records'][0]['s3']['object']['key']
    csv_obj = s3.get_object(Bucket=bucket, Key=csv_key)
    df = pd.read_csv(csv_obj['Body'])
    
    # 转换为XLSX格式
    output_buffer = BytesIO()
    df.to_excel(output_buffer, index=False, engine='openpyxl')
    output_buffer.seek(0)
    
    # 输出转换后的文件到S3
    xlsx_key = csv_key.rsplit('.', 1)[0] + '.xlsx'
    s3.put_object(
        Bucket=bucket, 
        Key=f"processed_patch_reports/{xlsx_key}", 
        Body=output_buffer,
        ContentType='application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
    )

3. 配置S3触发规则：当补丁报告CSV上传到指定S3路径时，自动触发Lambda执行转换
4. 可额外对接SNS服务，转换完成后自动将XLSX格式的补丁报告推送给指定收件人

注意：使用Lambda处理时建议根据CSV体积调整内存和超时配置，单文件超过500MB的场景更推荐使用Glue方案。

2. 批量处理：AWS Glue #

• 适用场景：定时批量处理多份补丁报告、单CSV体积超过1GB、需要对接企业级数据流水线的场景
• 实现逻辑：
  • 新建Glue ETL作业，选择Python Shell运行环境，内置依赖不足的话可以自行添加对应安装包
  • 转换逻辑和Lambda方案一致，支持设置定时调度，也可以通过S3事件触发作业
  • 支持拉取多账号、多区域的补丁报告合并后转换为统一的XLSX汇总报告

3. 零代码处理：Amazon QuickSight #

• 适用场景：非技术人员使用、无自动化需求、仅偶尔需要转换补丁报告的场景
• 实现步骤：
  • 将CSV格式的补丁报告上传到S3桶
  • 在QuickSight中新建指向该CSV文件的数据集
  • 直接在数据集页面选择导出，格式设置为XLSX即可导出到本地

内容的提问来源于stack exchange，提问作者Makina74