如何访问两个Snowflake环境并对比DEV与TEST的所有表行数？

核心实现：用外部账户模拟Oracle DBlink功能 #

Snowflake中对应Oracle DBlink的是外部账户（External Account），通过它可以在单个环境内直接访问另一个环境的元数据，实现跨环境的表行数对比。

具体操作步骤 #

1. 创建指向目标环境的外部账户 #

假设在开发环境操作，创建连接到测试环境的外部账户：

CREATE OR REPLACE EXTERNAL ACCOUNT TESTING_ENV
    TYPE = SNOWFLAKE
    ACCOUNT_LOCATOR = '<测试环境账户定位器>'
    REGION = '<测试环境区域>'
    DATABASE = '<测试环境数据库名>'
    SCHEMA = INFORMATION_SCHEMA
    USER = '<测试环境用户名>'
    PASSWORD = '<测试环境密码>'
    COMMENT = '连接测试环境的外部账户';

注意：创建账户的用户需具备足够权限，且测试环境的用户能访问INFORMATION_SCHEMA。

2. 编写跨环境对比查询语句 #

关联两个环境的INFORMATION_SCHEMA.TABLES视图，直接对比行数及其他元数据：

SELECT
    dev.TABLE_CATALOG AS 开发环境目录,
    dev.TABLE_SCHEMA AS 开发环境Schema,
    dev.TABLE_NAME AS 表名,
    dev.ROW_COUNT AS 开发环境行数,
    test.ROW_COUNT AS 测试环境行数,
    dev.ROW_COUNT - test.ROW_COUNT AS 行数差值,
    dev.CREATED AS 开发环境创建时间,
    dev.LAST_ALTERED AS 开发环境最后修改时间,
    test.CREATED AS 测试环境创建时间,
    test.LAST_ALTERED AS 测试环境最后修改时间
FROM
    INFORMATION_SCHEMA.TABLES dev
JOIN
    TESTING_ENV.INFORMATION_SCHEMA.TABLES test
    ON dev.TABLE_SCHEMA = test.TABLE_SCHEMA
    AND dev.TABLE_NAME = test.TABLE_NAME
WHERE
    dev.TABLE_TYPE = 'BASE TABLE' -- 仅对比实体表，排除视图等对象
    AND test.TABLE_TYPE = 'BASE TABLE';

权限受限的替代方案 #

如果无法创建外部账户，可分别导出两个环境的表数据后本地比对：

• 开发环境执行导出查询：

SELECT TABLE_CATALOG,TABLE_SCHEMA,TABLE_NAME,TABLE_TYPE,ROW_COUNT,CREATED,LAST_ALTERED FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_TYPE='BASE TABLE';

• 测试环境执行相同查询导出，再用Excel、Python脚本等工具比对两个数据集。

内容的提问来源于stack exchange，提问作者GODS Gift