Snowflake外部表无返回值问题：Stage有数据但查询无结果

问题场景 #

尝试创建可随源目录新增文件自动刷新的Snowflake外部表，Stage查询能返回数据，但外部表查询无结果；同时普通表可正常从该Stage加载数据。

源文件示例（employees.csv） #

id,firstName,lastName,address
1001,abcdef,ghijkl,seattle
1002,mnopqr,stuvwx,houston

文件格式配置 #

CREATE OR REPLACE FILE FORMAT ff_comma
    TYPE = 'CSV' 
    FIELD_DELIMITER = ',' 
    -- FIELD_OPTIONALLY_ENCLOSED_BY = '"'
    FIELD_OPTIONALLY_ENCLOSED_BY = 'NONE'
    SKIP_HEADER = 1
    COMPRESSION = 'NONE'
    RECORD_DELIMITER = '\n'
    EMPTY_FIELD_AS_NULL = FALSE
    TRIM_SPACE = FALSE 
    ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE 
    ESCAPE = 'NONE'
    ESCAPE_UNENCLOSED_FIELD = '\134' 
    DATE_FORMAT = 'AUTO'
    TIMESTAMP_FORMAT = 'AUTO'
    NULL_IF = ('NULL')
;

Stage配置及验证 #

CREATE OR REPLACE STAGE stage_testing_ext
  STORAGE_INTEGRATION = storage_integration_dev
  URL = 's3://bucket_name/dir_1/employees.csv'
  FILE_FORMAT = ff_comma
;

-- 验证Stage数据存在
LIST @stage_testing_ext;
SELECT $1,$2,$3,$4 FROM @stage_testing_ext;

验证结果：可正常返回源文件的两行数据

普通表测试（正常工作） #

CREATE OR REPLACE TABLE testing 
AS
SELECT 
    $1 AS id
  , $2 AS first_name
  , $3 AS last_name
  , $4 AS address
FROM @stage_testing_ext;

SELECT * FROM testing;

查询结果：

外部表配置（无返回结果） #

CREATE OR REPLACE EXTERNAL TABLE ext_testing(
    id          INT     AS (value:c1::int)
  , first_name  VARCHAR AS (value:c2::string)
  , last_name   VARCHAR AS (value:$1::varchar)
  , address     VARCHAR AS ($1::varchar)
)
WITH 
  LOCATION = @stage_testing_ext
  FILE_FORMAT = ff_comma
;

SELECT * FROM ext_testing;

查询结果：无任何数据返回

问题原因与解决方法 #

核心问题 #

外部表的列引用逻辑混乱：

• CSV格式下，外部表通过value:cN访问数据列（c1对应第一列数据，因已配置SKIP_HEADER=1，跳过了表头行），但原定义中混用了value:$1、直接$1等错误引用方式，导致无法正确解析数据。
• Stage指向单个文件而非目录，也会影响自动刷新功能的生效。

修正后的外部表语句 #

CREATE OR REPLACE EXTERNAL TABLE ext_testing(
    id          INT     AS (value:c1::INT)
  , first_name  VARCHAR AS (value:c2::VARCHAR)
  , last_name   VARCHAR AS (value:c3::VARCHAR)
  , address     VARCHAR AS (value:c4::VARCHAR)
)
WITH 
  LOCATION = @stage_testing_ext
  FILE_FORMAT = ff_comma
  AUTO_REFRESH = TRUE -- 开启自动刷新，需Stage指向目录而非单个文件
;

额外注意事项 #

1. Stage路径调整：若要实现新增文件自动刷新，需将Stage的URL改为目录路径（如s3://bucket_name/dir_1/），而非单个文件路径。
2. 权限检查：确保创建外部表的角色拥有Stage的USAGE权限，以及存储集成的相关权限。
3. 手动刷新验证：修改Stage路径后，可执行ALTER EXTERNAL TABLE ext_testing REFRESH;手动触发刷新，验证数据是否正常加载。

内容的提问来源于stack exchange，提问作者DEARINE