如何优化SQL查询，快速从客户数据库导入数百万条近3年数据记录

1. 索引优化 #

• 给过滤字段BegSchSessYr创建非聚集索引，若仅需拉取特定字段，直接创建覆盖索引，包含所有待查询字段，避免回表开销，示例语句如下：

CREATE NONCLUSTERED INDEX IX_STSQ01_BegSchSessYr ON dbo.STSQ01 (BegSchSessYr)
INCLUDE (col1, col2, col3) -- 替换为实际需要拉取的字段名

• 禁用SELECT *写法，仅声明实际用到的字段，大幅降低磁盘IO和网络传输开销，百万级数据量下该优化可直接缩短30%以上的耗时。

2. 语句逻辑优化 #

• 提前计算时间阈值，避免每行数据都做动态函数计算，也可以规避数据库隐式转换导致的索引失效问题，示例写法：

DECLARE @StartYear INT = YEAR(GETDATE()) - 3
DECLARE @EndYear INT = YEAR(GETDATE()) - 1
SELECT 待查询字段列表 FROM dbo.STSQ01 WHERE BegSchSessYr BETWEEN @StartYear AND @EndYear

• 确认BegSchSessYr字段类型为INT，若为字符串类型需提前调整字段类型或者显式转换过滤值，避免索引失效。

3. 拉取策略优化 #

• 采用分批拉取的方式，避免单次查询加载全量数据导致的资源占用过高、传输中断重传问题，可按自增主键或者年份拆分批次，示例按主键分批写法：

DECLARE @MinId INT, @MaxId INT, @BatchSize INT = 10000
SELECT @MinId = MIN(id), @MaxId = MAX(id) FROM dbo.STSQ01 WHERE BegSchSessYr BETWEEN @StartYear AND @EndYear
WHILE @MinId <= @MaxId
BEGIN
    SELECT 待查询字段列表 FROM dbo.STSQ01 
    WHERE BegSchSessYr BETWEEN @StartYear AND @EndYear AND id BETWEEN @MinId AND @MinId + @BatchSize - 1
    SET @MinId = @MinId + @BatchSize
END

• 跨库导入优先使用数据库原生批量工具，例如SQL Server的bcp、SSIS包，比普通程序查询插入效率高5-10倍。

4. 环境适配优化 #

• 拉取操作安排在业务低峰期执行，避免和业务查询抢占CPU、IO资源。
• 临时提升查询会话的内存分配阈值，避免数据读取过程中溢出到磁盘降低执行速度。

内容的提问来源于stack exchange，提问作者ali