带NUPI日期分区的TD MULTI SET表批量插入CPU Skew过高的解决方案

调整批次拆分逻辑，从根源规避数据分布热点 #

• 原有基于单一Identifier列MOD 10的拆分规则，会因为单批次数据哈希结果集中落在少量高负载AMP上，逐步推高单AMP的CPU占用（前两批累计加载后主表的AMP负载已经逐步升高，第三批刚好命中倾斜的哈希范围就会触发WLM失败阈值）。调整为Identifier列与Date分区列组合后再做MOD取模的拆分规则，让每批数据均匀打散到所有AMP上，从源头降低单批加载的分布倾斜。
• 每批加载前预校验分布偏差：对拆分好的批次源数据，先执行SELECT HASHAMP(HASHBUCKET(HASHROW(Identifier))) as amp_id, COUNT(*) FROM 批次源表 GROUP BY 1 ORDER BY 2 DESC，确认单AMP最大记录量与最小记录量的偏差低于5%，再正式启动加载，避免上线后因为分布倾斜跑批失败。

优化MERGE执行环节的资源消耗 #

• 针对Explain中显示的Spool层MERGE步骤，在Insert语句中追加MERGE /*+ NO_PREP_SPOOL */优化提示，跳过Teradata默认将源数据全量落地临时Spool再逐行匹配主表的逻辑，用流处理方式完成行匹配，减少Spool倾斜带来的CPU集中消耗。
• 动态调整不同加载阶段的批次规模：初始加载阶段每累计完成2批后，适当缩小后续批次的规模（例如将原本60GB/批的大小降到30GB/批），避免主表存量数据逐步积累后，MERGE阶段的匹配负载叠加单批数据量，导致单AMP CPU占用突破阈值。
• 加载前置性优化索引检查流程：初始加载前先临时删除表上所有二级索引、禁用所有约束，待全部600GB数据加载完成后再统一创建索引、启用约束，减少MERGE阶段逐行做索引校验、约束检查的额外CPU开销。

适配Teradata平台规则降低倾斜影响 #

• 为加载会话开启WLM动态倾斜调度：设置会话级查询标签SET SESSION QUERY_BAND='use_workload_management=on; skew_threshold=15;'，让WLM自动识别MERGE阶段的CPU倾斜，当单AMP的CPU占用超出集群平均水平15%时，自动将倾斜任务调度到空闲AMP执行，避免单AMP打满触发任务失败。
• 补全目标表的统计信息：在第一批加载启动前，对目标表的Date分区列、Identifier列执行UPDATE STATISTICS，让优化器拿到准确的数据分布信息，为MERGE环节生成无倾斜的执行计划，避免优化器错估数据量选择高倾斜的执行路径。
• 临时调整初始加载专属资源规则：针对跑加载的专属数据库用户，临时放宽CPU占用阈值，允许MERGE阶段短时间单AMP CPU占用达到60%，待全部加载任务完成后再切回正常的资源管控规则，避免CPU占用到50%时被WLM强制终止。

前置校验：所有调整完成后，先对第三批的加载语句跑EXPLAIN，确认MERGE步骤无Spool倾斜提示、各执行环节的AMP分布偏差在可接受范围后，再正式提交加载任务。

内容的提问来源于stack exchange，提问作者Ankit Srivastava