如何借助AWS Lambda将CSV读取为Pandas DataFrame并在云端展示

一、核心改造与部署流程 #

1. 适配Lambda的CSV读取代码 #

Lambda默认环境自带boto3（AWS SDK），但没有Pandas，需要先处理依赖，再修改本地代码为从S3读取：

• 添加Pandas依赖：
  要么在Lambda控制台的「层」中选择公共的Pandas层（搜索「pandas」即可找到社区共享的），要么自己打包层：本地执行pip install pandas -t python/lib/python3.9/site-packages（对应Lambda的Python版本），然后把python文件夹压缩成zip上传为自定义层。
• 改造后的Lambda代码示例：

import boto3
import pandas as pd
from io import StringIO

def lambda_handler(event, context):
    # 初始化S3客户端
    s3_client = boto3.client('s3')
    
    # 替换为你的S3桶名和CSV文件路径
    BUCKET = "your-s3-bucket-name"
    CSV_KEY = "data/your-file.csv"
    
    # 从S3拉取CSV内容
    s3_response = s3_client.get_object(Bucket=BUCKET, Key=CSV_KEY)
    csv_str = s3_response['Body'].read().decode('utf-8')
    
    # 转为DataFrame
    df = pd.read_csv(StringIO(csv_str))
    
    # 输出为JSON格式（方便网站调用）
    return {
        "statusCode": 200,
        "headers": {
            "Content-Type": "application/json",
            "Access-Control-Allow-Origin": "*"  # 允许跨域，生产环境建议替换为你的域名
        },
        "body": df.to_json(orient='records')
    }

2. S3配置与权限设置 #

• 创建S3桶，上传你的CSV文件；
• 给Lambda的执行角色添加S3读取权限：进入Lambda控制台→配置→权限→执行角色→添加权限→创建内联策略，粘贴以下JSON（替换桶和文件路径）：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::your-s3-bucket-name/data/your-file.csv"
        }
    ]
}

3. 对接网站 #

用AWS API Gateway把Lambda包装成HTTP接口：

• 在API Gateway控制台创建REST API，添加GET方法并关联你的Lambda函数；
• 部署API后会得到一个公网URL，网站前端可以用fetch/axios调用该URL获取JSON数据，再渲染成表格展示。

二、新手学习资源 #

• AWS Skill Builder免费课程：《Lambda基础》《S3入门》（AWS官方免费培训，从控制台操作到代码编写全覆盖）
• AWS官方文档：《Lambda Python开发指南》《S3用户指南》（中文文档，细节讲解全面）
• Pandas官方文档：《在无服务器环境中使用Pandas》（重点看内存优化、数据处理最佳实践）
• AWS官方博客：搜索「Lambda + S3 处理CSV」，有很多 step-by-step 的实战教程

内容的提问来源于stack exchange，提问作者sw4ps