AWS技术问询：如何将S3中同类型多CSV文件合并为数据表

一、无需移动文件：用Athena直接合并同类型文件 #

可以直接在Athena中针对每种文件类型创建独立的表（或视图），通过文件名过滤实现合并，无需调整S3文件结构，且自动支持每日新增文件。

1. 针对单一类型创建专属表（推荐） #

如果不同类型文件的Schema差异较大，为每种类型单独建表，确保Schema匹配：

-- 示例：创建FileTypeA的表（根据实际文件格式和Schema修改）
CREATE EXTERNAL TABLE IF NOT EXISTS file_type_a (
  column1 string,
  column2 int,
  column3 date
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',' -- 替换为你的文件分隔符，如'\t'或'|'
LOCATION 's3://your-bucket-name/'
TBLPROPERTIES (
  'skip.header.line.count' = '1', -- 如果文件有表头则添加
  'projection.enabled' = 'true',
  'projection.file_type.type' = 'enum',
  'projection.file_type.values' = 'FileTypeA',
  'storage.location.template' = 's3://your-bucket-name/${file_type}-*'
);

这个表会自动读取所有以FileTypeA-开头的文件，后续新增的同类型文件也会被自动包含。重复此SQL，修改表名、Schema和projection.file_type.values即可创建FileTypeB、C、D的表。

2. 用视图快速合并（适合临时需求） #

如果已经有包含所有文件的基础表，可创建视图过滤指定类型：

-- 先创建包含所有文件的基础表（Schema需兼容所有类型，不推荐Schema差异大的场景）
CREATE EXTERNAL TABLE IF NOT EXISTS all_files (
  -- 定义兼容所有类型的通用Schema或使用string类型适配
  col1 string,
  col2 string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION 's3://your-bucket-name/';

-- 创建FileTypeA的视图
CREATE VIEW file_type_a AS
SELECT * FROM all_files
WHERE "$PATH" LIKE 's3://your-bucket-name/FileTypeA-%';

完成后，PowerBI可直接连接Athena，选择对应的表或视图即可获取合并后的数据集。

二、自动迁移文件到子文件夹（更易维护的方案） #

如果希望通过子文件夹分类管理文件，可借助S3事件触发器+Lambda实现自动化迁移，每日新增文件会自动归类到对应子文件夹。

1. 创建Lambda函数 #

编写Python代码实现文件移动逻辑：

import boto3

s3 = boto3.client('s3')

def lambda_handler(event, context):
    # 获取触发事件的文件信息
    bucket = event['Records'][0]['s3']['bucket']['name']
    file_key = event['Records'][0]['s3']['object']['key']
    
    # 从文件名提取类型（如从FileTypeA-032323中获取FileTypeA）
    file_type = file_key.split('-')[0]
    
    # 构建目标路径：子文件夹+原文件名
    dest_key = f"{file_type}/{file_key}"
    
    # 复制文件到目标子文件夹
    s3.copy_object(
        Bucket=bucket,
        CopySource={'Bucket': bucket, 'Key': file_key},
        Key=dest_key
    )
    
    # 可选：删除原文件（若不需要保留根目录的文件）
    s3.delete_object(Bucket=bucket, Key=file_key)

2. 配置S3事件触发器 #

1. 进入S3桶的「属性」页，找到「事件通知」，点击「创建事件通知」
2. 填写通知名称，选择「所有对象创建事件」作为触发条件
3. 目标选择「Lambda函数」，关联刚才创建的Lambda函数
4. 保存配置，后续新上传的文件会自动被移动到对应子文件夹

3. 用Glue生成表 #

文件分类到子文件夹后，创建Glue爬虫：

• 设置爬虫的数据源为S3桶，指定爬取所有子文件夹
• 配置爬虫将表写入Glue Data Catalog
• 运行爬虫后，每个子文件夹会对应生成一张表，直接在PowerBI中连接Glue或Athena即可使用

内容的提问来源于stack exchange，提问作者Shell35