如何加速将AWS S3中35k个CSV文件批量加载至Snowflake？

一、当前COPY INTO慢的核心问题 #

你使用X-Small仓库处理35000个文件的加载是主要瓶颈。X-Small仓库计算资源有限，并行处理文件的能力极低，面对大量中等大小的文件，必然会出现长时间运行的情况。

二、快速优化COPY INTO的方法 #

1. 升级仓库规格 #

直接将仓库调整为Medium或Large（35000个10-50MB的文件总数据量在350GB-1.75TB之间，Large仓库能提供更高的并行处理能力）。仓库规格升级后，Snowflake会自动增加并行加载线程数，大幅缩短处理时间。

2. 分批并行加载 #

如果不想一次性使用过大的仓库，可以按文件前缀（比如日期、业务分区）拆分加载任务，同时运行多个COPY INTO语句，示例：

-- 加载前缀为2024/01/的文件
COPY INTO HS_TABLE
FROM @S3_STAGE/2024/01/
FILE_FORMAT = HS_FILE_FORMAT
ON_ERROR = 'CONTINUE';

-- 同时加载前缀为2024/02/的文件
COPY INTO HS_TABLE
FROM @S3_STAGE/2024/02/
FILE_FORMAT = HS_FILE_FORMAT
ON_ERROR = 'CONTINUE';

这样可以利用仓库的并行能力同时处理多批文件。

3. 预处理错误文件 #

先运行带验证模式的COPY INTO，找出所有格式错误的文件并提前修复，避免加载过程中反复跳过错误文件浪费时间：

COPY INTO HS_TABLE
FROM @S3_STAGE
FILE_FORMAT = HS_FILE_FORMAT
VALIDATION_MODE = RETURN_ERRORS;

4. 调整加载参数 #

• 显式设置PARALLEL参数（大仓库下可设为更高值，比如16，默认AUTO）：

COPY INTO HS_TABLE
FROM @S3_STAGE
FILE_FORMAT = HS_FILE_FORMAT
ON_ERROR = 'CONTINUE'
PARALLEL = 16;

• 若为首次全量加载，可忽略FORCE = TRUE；若需覆盖已加载数据，可添加该参数。

三、用Snowpipe加载历史数据的方法 #

Snowpipe默认仅扫描7天内修改的文件，但可通过ALTER PIPE命令指定更早的时间范围刷新历史文件：

-- 刷新30天内所有修改的文件（根据你的文件实际修改时间调整天数）
ALTER PIPE YOUR_PIPE_NAME REFRESH BEFORE = DATEADD(DAY, -30, CURRENT_TIMESTAMP());

注意事项：

• 该命令会扫描指定时间范围内的所有文件，若已用COPY INTO加载过部分文件，需通过COPY HISTORY或文件列表避免重复加载。
• 建议先完成历史数据加载，再让Snowpipe自动监听增量文件，这种组合方式效率最高。

四、其他注意事项 #

• 检查S3阶段的IAM权限：确保Snowflake使用的IAM角色拥有s3:ListBucket和s3:GetObject的完整权限，权限不足会导致文件扫描和读取变慢。
• 优化文件大小：对于超过50MB的文件，后续建议拆分为100-250MB（Snowflake最优文件大小范围），能进一步提升加载效率。

内容的提问来源于stack exchange，提问作者Syed Rizvi