定时从Snowflake卸载数据至S3时，无数据场景下创建对应小时路径及空CSV文件的SQL查询修改方案

我来帮你搞定这个需求——核心思路是让Snowflake的卸载查询始终返回至少一行结果：有数据时返回真实数据，无数据时返回一行空记录，这样UNLOAD命令就会强制生成对应路径的CSV文件了。下面分步骤说明具体实现：

1. 修改查询语句，兜底空结果 #

假设你原本的查询是获取当前小时的数据（比如这样）：

SELECT col1, col2, col3
FROM your_target_table
WHERE event_timestamp >= DATE_TRUNC('HOUR', CURRENT_TIMESTAMP())
  AND event_timestamp < DATE_TRUNC('HOUR', CURRENT_TIMESTAMP()) + INTERVAL '1 HOUR';

你需要给这个查询加上一个“空行兜底”的逻辑，用UNION ALL配合NOT EXISTS判断：当源表无数据时，返回一行空记录；有数据时只返回真实数据。修改后的查询如下：

-- 取当前小时的真实数据
SELECT col1, col2, col3
FROM your_target_table
WHERE event_timestamp >= DATE_TRUNC('HOUR', CURRENT_TIMESTAMP())
  AND event_timestamp < DATE_TRUNC('HOUR', CURRENT_TIMESTAMP()) + INTERVAL '1 HOUR'

-- 兜底逻辑：如果当前小时无数据，返回一行空记录
UNION ALL
SELECT NULL AS col1, NULL AS col2, NULL AS col3
WHERE NOT EXISTS (
  SELECT 1 FROM your_target_table
  WHERE event_timestamp >= DATE_TRUNC('HOUR', CURRENT_TIMESTAMP())
    AND event_timestamp < DATE_TRUNC('HOUR', CURRENT_TIMESTAMP()) + INTERVAL '1 HOUR'
);

2. 调整UNLOAD命令参数 #

接下来确保你的UNLOAD命令配置正确，特别是要强制生成单个文件，避免无数据时跳过创建。完整的UNLOAD命令示例如下：

UNLOAD ($$
  -- 上面修改后的查询语句
  SELECT col1, col2, col3
  FROM your_target_table
  WHERE event_timestamp >= DATE_TRUNC('HOUR', CURRENT_TIMESTAMP())
    AND event_timestamp < DATE_TRUNC('HOUR', CURRENT_TIMESTAMP()) + INTERVAL '1 HOUR'
  UNION ALL
  SELECT NULL AS col1, NULL AS col2, NULL AS col3
  WHERE NOT EXISTS (
    SELECT 1 FROM your_target_table
    WHERE event_timestamp >= DATE_TRUNC('HOUR', CURRENT_TIMESTAMP())
      AND event_timestamp < DATE_TRUNC('HOUR', CURRENT_TIMESTAMP()) + INTERVAL '1 HOUR'
  );
$$)
-- 动态生成规范的S3路径（保证月份、日期、小时是两位格式）
INTO 's3://My_bucket/year=' || TO_CHAR(CURRENT_TIMESTAMP(), 'YYYY') 
  || '/month=' || TO_CHAR(CURRENT_TIMESTAMP(), 'MM') 
  || '/day=' || TO_CHAR(CURRENT_TIMESTAMP(), 'DD') 
  || '/hour=' || TO_CHAR(CURRENT_TIMESTAMP(), 'HH24') 
  || '/data.csv'
WITH (
  FILE_FORMAT = (TYPE = 'CSV' FIELD_OPTIONALLY_ENCLOSED_BY = '"' HEADER = TRUE), -- 按需开启表头
  OVERWRITE = TRUE, -- 覆盖同路径下的旧文件
  SINGLE = TRUE -- 强制生成单个CSV文件，适合小时级数据量
);

3. 关键注意事项 #

• 如果需要完全空的CSV文件（不带表头），把FILE_FORMAT里的HEADER = TRUE改成HEADER = FALSE即可。
• S3的“文件夹”是虚拟对象，只要Snowflake能写入对应前缀的CSV文件，路径会自动被识别为“存在”，无需手动创建文件夹。
• 确保执行UNLOAD的Snowflake角色拥有S3桶的写入权限，避免因权限问题导致路径无法生成。

这样修改后，不管每小时有没有数据流入，S3都会生成对应的year=YYYY/month=MM/day=DD/hour=HH/data.csv文件：有数据时是带内容的CSV，无数据时是空CSV（或带表头的空文件，依你的配置而定）。

内容的提问来源于stack exchange，提问作者Deepika reddy