Snowflake环境sc01迁移至sc08的核查要点与检查清单咨询

一、迁移前预核查要点 #

• 环境基础配置一致性核查
  • 确认sc08和sc01的Snowflake版本、可用区、组织层级权限配置完全匹配，避免对象创建后权限异常
  • 导出sc01全局参数配置清单，核对sc08对应参数：包括但不限于QUERY_TAG默认值、STATEMENT_TIMEOUT_IN_SECONDS阈值、时区、日期格式配置
  • 确认sc08已开通的服务（Snowpipe、Stream、Task、搜索优化服务等）覆盖sc01所有已使用服务
• 全量对象元数据盘点核查
  • 导出sc01所有层级对象清单：账户级角色、用户、仓库、数据库、Schema、表（含临时表、transient表）、视图、存储过程、UDF、Stream、Task、Pipe、外部函数、数据共享配置
  • 统计所有对象的权限映射关系：包括角色继承关系、用户绑定角色、对象级授权明细
  • 确认所有非结构化数据存储的stage（内部/外部）配置，包括外部stage的云存储访问凭证有效性
• 数据量与迁移资源预估核查
  • 统计sc01所有表的存储总量、行计数、最大表单表大小，以此评估迁移所需的仓库规格、迁移耗时窗口
  • 确认迁移期间业务可接受的停机窗口，匹配迁移方案（全量+增量/停机全量）
  • 预留sc08至少1.2倍sc01当前存储用量的额度，避免迁移过程中存储超限

二、迁移执行中核查要点 #

• 全量对象迁移一致性核查
  • 对比sc01和sc08的对象清单，确认所有层级对象无遗漏、对象属性完全一致：包括表的字段类型、约束、聚类键、分区键、搜索优化配置
  • 核对角色权限映射关系，抽取至少3个核心业务角色做权限验证，确认权限范围和sc01完全一致
  • 验证所有非结构化数据stage的访问权限：内部stage的文件列表一致性、外部stage的读写权限正常
• 全量数据迁移一致性核查
  • 逐库逐表核对行计数：SELECT COUNT(*) FROM 表名结果sc01和sc08完全一致
  • 抽样校验表内容一致性：对单表抽取10%随机行，对比两个环境的行哈希值完全匹配
  • 半结构化/非结构化数据校验：JSON/Parquet等半结构化数据的结构完整性，非结构化文件的MD5值对比一致
• 增量同步核查（采用不停机迁移方案时需覆盖）
  • 验证Stream和Task捕获的增量变更正常同步，延迟控制在业务可接受范围内
  • 核对至少3个业务高峰期的增量数据：包括INSERT/UPDATE/DELETE操作的同步一致性
  • 切流前确认增量队列无堆积，所有sc01的最新变更都已同步到sc08

三、迁移完成后上线前核查要点 #

• 业务功能验证核查
  • 抽取核心业务SQL在sc08执行，对比返回结果和执行耗时，和sc01差异在5%以内为正常
  • 验证所有依赖Snowflake的上游写入、下游读取链路正常：包括ETL任务、BI报表、API调用
  • 验证Snowpipe、Stream、Task等调度类对象正常运行，无报错
• 安全配置核查
  • 核对所有用户的多因素认证配置、网络策略（IP白名单）、会话策略和sc01完全一致
  • 验证数据加密配置：静态加密、传输加密配置和sc01一致，敏感数据的脱敏策略正常生效
  • 审计日志配置核查：确认sc08的QUERY_LOG、ACCESS_LOG等审计日志开启，日志留存周期符合要求
• 性能基线验证核查
  • 执行sc01的历史Top10慢SQL在sc08运行，确认执行效率不低于sc01
  • 压测高峰并发场景：模拟业务高峰期的并发查询量，确认sc08的仓库CPU、内存使用率无超过80%的情况
  • 验证自动扩缩容配置：仓库的自动启停、自动扩缩容阈值设置符合业务需求

四、下线sc01前最终核查 #

• 确认所有业务流量已经完全切到sc08，sc01超过72小时无业务访问日志
• 确认sc08的所有备份策略已经配置完成，至少完成1次全量备份
• 导出sc01的全量元数据和全量数据备份归档，留存至少180天后方可删除
• 确认所有和sc01关联的外部配置（云存储访问凭证、第三方集成配置）已经更新为sc08的配置

内容的提问来源于stack exchange，提问作者Kumaresan Natarajan