如何高效从Snowflake已暂存的大型CSV文件中查询数据子集？

你用METADATA$FILE_ROW_NUMBER过滤行的方式之所以低效，是因为这个元数据字段是在完整扫描整个文件后才生成的——也就是说，即便你只取前2行，Snowflake也必须先把整个文件读一遍才能确定行号，自然起不到分批优化的作用。

方法1：使用COPY INTO（推荐，Snowflake原生最优加载方式） #

COPY INTO是Snowflake专为批量数据加载设计的命令，比INSERT...SELECT从暂存文件读取效率高得多，支持自动分批、并行处理，且无需全扫文件。

基础用法 #

COPY INTO target_table(row_num_col, col1, col2, col3)
FROM (
    SELECT METADATA$FILE_ROW_NUMBER, $1, $2, $3
    FROM @LANDING_ZONE.BYM0/DummyFile1.csv.gz
)
FILE_FORMAT = (
    TYPE = CSV,
    FIELD_OPTIONALLY_ENCLOSED_BY = '"', -- 按你的CSV实际格式调整
    SKIP_HEADER = 1 -- 如果文件有表头就加这行
)
BATCH_SIZE = 100000; -- 每批加载10万行，可根据仓库性能调整

核心优势 #

• 流式读取文件，无需全扫即可分批加载
• 自动利用仓库的并行处理能力，充分发挥ExtraLarge仓库的性能
• 支持错误容错（比如ON_ERROR = 'CONTINUE'跳过坏行）
• 可先用VALIDATION_MODE = 'RETURN_ALL_ERRORS'验证数据格式，避免加载失败

方法2：按文件字节范围分批读取（适合精确控制加载范围的场景） #

如果必须用INSERT...SELECT的方式，可以通过FILE_RANGE_START和FILE_RANGE_END参数指定读取的字节段，直接跳过文件中未指定的部分，避免全扫。

操作步骤 #

1. 先获取目标文件的大小：

SELECT $1 AS file_name, $2 AS file_size_bytes
FROM TABLE(LIST @LANDING_ZONE.BYM0/DummyFile1.csv.gz);

2. 按字节范围分批执行插入（示例按每1GB分批）：

-- 第1批：读取0到1GB的内容
INSERT INTO target_table(row_num_col, col1, col2, col3)
SELECT METADATA$FILE_ROW_NUMBER, DF.$1, DF.$2, DF.$3 
FROM @LANDING_ZONE.BYM0/DummyFile1.csv.gz (FILE_RANGE_START => 0, FILE_RANGE_END => 1073741824) DF
WHERE METADATA$FILE_ROW_NUMBER > 1; -- 跳过表头（如果有）

-- 第2批：读取1GB到2GB的内容
INSERT INTO target_table(row_num_col, col1, col2, col3)
SELECT METADATA$FILE_ROW_NUMBER, DF.$1, DF.$2, DF.$3 
FROM @LANDING_ZONE.BYM0/DummyFile1.csv.gz (FILE_RANGE_START => 1073741824, FILE_RANGE_END => 2147483648) DF;

-- 最后一批：读取剩余所有内容（无需指定FILE_RANGE_END）
INSERT INTO target_table(row_num_col, col1, col2, col3)
SELECT METADATA$FILE_ROW_NUMBER, DF.$1, DF.$2, DF.$3 
FROM @LANDING_ZONE.BYM0/DummyFile1.csv.gz (FILE_RANGE_START => 8589934592) DF;

注意事项 #

• CSV是行式存储，字节范围可能截断行，导致某批的首尾行不完整。可以在每批加载后检查数据完整性，后续批次跳过不完整的行。
• 压缩文件（如.gz）的字节范围是基于压缩后的文件大小，Snowflake会自动解压指定范围的内容。

• 确保仓库没有被其他查询占用，让资源全部集中在数据加载上
• 如果CSV文件存在大量特殊字符或复杂嵌套结构，可临时转成Parquet格式（Snowflake对列存格式的加载效率更高）

内容的提问来源于stack exchange，提问作者Eric Mamet