如何统计Snowflake外部阶段（GCP Bucket）的列数以验证数据加载

方法1：通过Snowflake直接解析外部阶段文件的表头 #

根据文件类型不同，使用对应的Snowflake查询逻辑提取并统计列数：

CSV/TSV等分隔符格式文件 #

1. 先确认外部阶段的目标文件路径：

LIST @your_external_stage;

2. 读取表头行，按分隔符拆分后统计列数：

SELECT 
  ARRAY_SIZE(SPLIT($1, ',')) AS external_file_column_count
FROM @your_external_stage/your_target_file.csv
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 0)
LIMIT 1;

替换,为文件实际分隔符（如\t对应TSV），SKIP_HEADER=0确保读取第一行表头。

JSON格式文件 #

解析第一条JSON记录的键值对数量：

SELECT 
  OBJECT_SIZE(PARSE_JSON($1)) AS external_file_column_count
FROM @your_external_stage/your_target_file.json
LIMIT 1;

Parquet等列存格式文件 #

利用Parquet自带的元数据直接获取列数：

SELECT 
  METADATA$COLUMN_COUNT AS external_file_column_count
FROM @your_external_stage/your_target_file.parquet
LIMIT 1;

方法2：通过GCP命令行工具（gsutil）直接统计 #

如果能访问GCP CLI，可直接操作GCS Bucket中的文件：

1. CSV文件统计：

gsutil cat gs://your_bucket/path/your_file.csv | head -n 1 | tr ',' '\n' | wc -l

替换分隔符为文件实际使用的符号。

2. JSON文件统计（需提前安装jq工具）：

gsutil cat gs://your_bucket/path/your_file.json | head -n 1 | jq 'keys | length'

方法3：创建临时外部表查询列数 #

通过Snowflake临时外部表关联目标文件，再从信息 schema 读取列数：

1. 创建临时外部表：

CREATE OR REPLACE TEMPORARY EXTERNAL TABLE temp_ext_table
LOCATION = @your_external_stage/your_target_file.csv
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1);

2. 查询列数：

SELECT COUNT(*) AS external_table_column_count
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_NAME = 'TEMP_EXT_TABLE' AND TABLE_TYPE = 'EXTERNAL TABLE';

内容的提问来源于stack exchange，提问作者Elhaj