如何利用s3.to_parquet的partition_cols参数按月份分区存储数据集

核心逻辑 #

分区是按指定字段将数据拆分为结构化目录存储，Athena可直接识别这种目录结构，无需手动用UNION ALL拼接数据。针对每日更新的场景，按日期字段分区是最佳实践，比如用dt字段存储D-1的日期（格式建议yyyy-MM-dd）。

具体操作步骤 #

1. 给DataFrame添加分区字段 #

先为数据新增一个统一的日期分区列，值为前一天的日期：

import pandas as pd
from datetime import datetime, timedelta

# 假设你的原始数据集是df
yesterday = (datetime.today() - timedelta(days=1)).strftime('%Y-%m-%d')
df['dt'] = yesterday  # 给所有行添加D-1的日期作为分区标识

2. 用partition_cols写入S3 #

调用to_parquet时指定partition_cols参数，同时设置合适的写入模式：

# 替换为你的S3存储路径
df.to_parquet(
    path='s3://your-bucket/dataset-path/',
    partition_cols=['dt'],
    engine='pyarrow',  # AWS生态下兼容性更好的引擎
    mode='append'  # 每日更新用append，避免覆盖历史分区数据
)

写入后S3会生成如下目录结构，Athena能直接识别：

s3://your-bucket/dataset-path/
├─ dt=2024-05-20/
│  └─ part-00000-xxx.parquet
├─ dt=2024-05-21/
│  └─ part-00000-yyy.parquet
...

3. 在Athena中创建分区表 #

无需手动拼接数据，直接创建支持自动识别分区的外部表：

CREATE EXTERNAL TABLE IF NOT EXISTS your_db.your_table (
    -- 列出除dt外的所有字段，示例：
    id INT,
    username STRING,
    order_amount DOUBLE
)
PARTITIONED BY (dt STRING)
STORED AS PARQUET
LOCATION 's3://your-bucket/dataset-path/'
TBLPROPERTIES (
    'parquet.compress'='SNAPPY',
    'skip.header.line.count'='0'
);

首次创建或新增分区后，执行以下命令加载分区：

MSCK REPAIR TABLE your_db.your_table;

之后查询时可直接通过dt过滤，比如：

SELECT * FROM your_db.your_table WHERE dt = '2024-05-21';

重要注意事项 #

• 分区字段选择：优先用日期字段，查询时Athena只会扫描对应日期的目录，大幅提升效率。
• 写入模式：日常更新用append；若需重刷某一天的数据，先删除S3上对应dt=xxx的目录，再用append写入。
• 引擎选择：pyarrow比fastparquet在AWS生态下兼容性更强，推荐使用。
• 分区格式：日期用yyyy-MM-dd字符串格式，避免格式混乱导致Athena无法识别分区。

内容的提问来源于stack exchange，提问作者Ricardo Afonso