Snowflake外部表需求：提取CSV第3行日期作为新列

一、提取第3行日期并填充至新列（完全可行） #

这个思路可以通过文件元数据关联或者直接读取指定行内容两种方式落地，具体方案如下：

方案1：基于元数据关联实现（性能更优） #

先修正你现有外部表的语法错误（列名含空格需用双引号，避免重复引用c2），创建能读取所有行的基础外部表：

CREATE OR REPLACE EXTERNAL TABLE TEST_CSV_BASE(
  "period" VARCHAR AS (value:c1::varchar),
  "Good name" VARCHAR AS (value:c2::varchar),
  "Customer Name" VARCHAR AS (value:c3::varchar),
  file_name VARCHAR AS METADATA$FILENAME,
  row_num INT AS METADATA$FILE_ROW_NUMBER
)
WITH LOCATION = @TEST_STAGE
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 0); -- 不跳过任何行，保留前3行

再创建视图封装关联逻辑，将第3行的日期填充到所有业务数据行：

CREATE OR REPLACE VIEW TEST_CSV_WITH_DATE AS
WITH file_dates AS (
  -- 提取每个文件第3行的日期（根据实际CSV调整列索引，此处假设日期在第3行第1列）
  SELECT 
    file_name,
    "period"::DATE AS report_date
  FROM TEST_CSV_BASE
  WHERE row_num = 3
)
SELECT 
  t."period",
  t."Good name",
  t."Customer Name",
  fd.report_date
FROM TEST_CSV_BASE t
JOIN file_dates fd ON t.file_name = fd.file_name
WHERE t.row_num > 3; -- 过滤前3行，仅保留业务数据

方案2：直接读取文件指定行（适合简单场景） #

利用Snowflake的GET_FILE_CONTENT函数直接读取每个文件的第3行（行索引从0开始，第3行对应索引2），并将其作为新列：

CREATE OR REPLACE EXTERNAL TABLE TEST_CSV_TABLE_WITH_DATE(
  "period" VARCHAR AS (value:c1::varchar),
  "Good name" VARCHAR AS (value:c2::varchar),
  "Customer Name" VARCHAR AS (value:c3::varchar),
  report_date DATE AS (
    -- 读取第3行并取第一列作为日期（根据实际CSV调整列索引）
    PARSE_JSON(GET_FILE_CONTENT(METADATA$FILENAME, 2, 1))[0][0]::DATE
  )
)
WITH LOCATION = @TEST_STAGE
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 3); -- 跳过前3行，直接读取业务数据

注意：GET_FILE_CONTENT需要对应阶段的读取权限，若文件数量较多，性能略低于方案1。

二、基于前3行创建不同外部表（完全可行） #

可以通过METADATA$FILE_ROW_NUMBER筛选不同行范围，拆分出日期表和业务数据表：

1. 创建存储文件日期的外部表 #

专门存储每个文件第3行的日期信息：

CREATE OR REPLACE EXTERNAL TABLE CSV_FILE_DATES(
  file_name VARCHAR AS METADATA$FILENAME,
  report_date DATE AS (value:c1::DATE), -- 假设日期在第3行第1列
  row_num INT AS METADATA$FILE_ROW_NUMBER
)
WITH LOCATION = @TEST_STAGE
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 0)
WHERE METADATA$FILE_ROW_NUMBER = 3; -- 仅保留第3行

2. 创建存储业务数据的外部表 #

跳过前3行，直接读取实际业务数据：

CREATE OR REPLACE EXTERNAL TABLE CSV_BUSINESS_DATA(
  "period" VARCHAR AS (value:c1::varchar),
  "Good name" VARCHAR AS (value:c2::varchar),
  "Customer Name" VARCHAR AS (value:c3::varchar),
  file_name VARCHAR AS METADATA$FILENAME
)
WITH LOCATION = @TEST_STAGE
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 3); -- 跳过前3行

3. 关联使用两个表 #

需要日期和业务数据一起查询时，通过文件名关联即可：

SELECT 
  d."period",
  d."Good name",
  d."Customer Name",
  f.report_date
FROM CSV_BUSINESS_DATA d
JOIN CSV_FILE_DATES f ON d.file_name = f.file_name;

内容的提问来源于stack exchange，提问作者Rocky1989