Snowflake四种加载历史查询SQL的差异及适用场景咨询

四个查询的差异主要集中在数据范围、权限要求、数据延迟、保留周期四个维度，具体拆解如下：

1. 查询语句：SELECT * from "SNOWFLAKE"."ACCOUNT_USAGE"."COPY_HISTORY" #

• 核心属性：账户级共享只读视图，记录所有COPY INTO操作
• 数据范围：覆盖全账户所有COPY INTO操作，包含数据导入表、从表导出到外部位置的全量记录，同时包含Snowpipe加载记录
• 保留周期：365天
• 数据延迟：约2小时
• 权限要求：需要ACCOUNT_USAGE视图访问权限，默认仅账户管理员（ACCOUNTADMIN）拥有，其他角色需单独授权
• 适用场景：全账户维度的加载/导出操作审计、跨库的加载问题排查、长周期的加载性能统计、合规类需要拉取全年操作记录的场景
• 不适用场景：需要查询近2小时内的实时操作记录的场景；无账户级权限的普通开发无法使用；仅需要查询入表加载记录时，还需额外过滤导出操作，效率较低

2. 查询语句：SELECT * FROM "SNOWFLAKE"."INFORMATION_SCHEMA"."LOAD_HISTORY" #

• 核心属性：全局INFORMATION_SCHEMA层的加载历史视图，仅记录数据入表操作
• 数据范围：覆盖全账户所有表的入表加载记录，仅返回最近14天的记录，单次查询最多返回10000条
• 保留周期：14天
• 数据延迟：分钟级，接近实时
• 权限要求：需要全局INFORMATION_SCHEMA访问权限，同时需要对应表的访问权限才能查看对应表的加载记录
• 适用场景：排查近14天内全账户范围的加载问题、需要近实时查看加载结果的场景、不需要长周期数据的轻量审计场景
• 不适用场景：需要查询14天之前的历史记录的场景；需要拉取全量超过10000条加载记录的场景；无全局INFORMATION_SCHEMA权限的普通开发无法使用

3. 查询语句：SELECT * from "SNOWFLAKE"."ACCOUNT_USAGE"."LOAD_HISTORY" #

• 核心属性：账户级共享只读视图，专门记录数据入表的加载操作
• 数据范围：覆盖全账户所有表的入表加载记录，仅包含数据导入操作，不含导出操作，包含Snowpipe加载记录
• 保留周期：365天
• 数据延迟：约2小时
• 权限要求：和COPY_HISTORY一致，需要ACCOUNT_USAGE视图访问权限，默认仅ACCOUNTADMIN拥有
• 适用场景：仅需要统计入表加载行为的全账户审计、跨库的入表加载问题排查、需要拉取近一年入表加载记录的场景，无需额外过滤导出操作，使用更便捷
• 不适用场景：需要查询近2小时内的实时加载记录的场景；需要查看数据导出操作的场景；无账户级权限的用户无法使用

4. 查询语句：SELECT * FROM "DATABASE_NAME"."INFORMATION_SCHEMA"."LOAD_HISTORY" #

• 核心属性：单库级别的INFORMATION_SCHEMA加载历史视图，仅记录当前库的入表操作
• 数据范围：仅覆盖指定数据库内所有表的入表加载记录，仅返回最近14天的记录，单次查询最多返回10000条
• 保留周期：14天
• 数据延迟：分钟级，接近实时
• 权限要求：仅需要拥有对应数据库的USAGE权限、以及查询表的访问权限即可，不需要账户级权限，普通开发可正常使用
• 适用场景：普通开发日常排查自己负责的单个数据库内的加载问题、近实时查看最近14天内的单库加载结果、不需要跨库查询的场景
• 不适用场景：需要查询14天之前的历史记录的场景；需要跨库查询全账户加载记录的场景；需要拉取超过10000条加载记录的场景；需要查看数据导出操作的场景

内容的提问来源于stack exchange，提问作者PhD_Horror