C#向Azure DB执行SQL Insert语句运行极慢的优化咨询

一、不升级DTU的性能优化方法 #

当前代码的核心性能瓶颈是逐行执行单条INSERT语句，4万条数据对应4万次数据库往返请求，本地环境网络延迟低于1ms所以影响不大，但Azure环境哪怕同区域也有1~3ms的网络延迟，叠加单条语句的解析执行开销，就会出现几十倍的耗时增长。可以通过以下方案优化：

• 批量合并INSERT语句：将每500_{1000条单条INSERT合并为一条多值INSERT语句，一次提交执行，可将数据库往返次数从4万次降低到40}80次，直接消除绝大多数网络延迟开销。
• 拆分大事务：当前4万条数据全部放在一个事务中执行，大事务会导致Azure SQL的日志写入、锁管理开销大幅上升，可以改为每1000条提交一次事务，同时做好异常时的部分回滚逻辑即可。
• 优化Azure部署架构：确认Azure App Service和Azure SQL数据库部署在同一 Azure 区域，跨区域部署会带来几十ms的额外网络延迟，直接导致插入速度翻倍下降；同时可以配置两者之间的私有端点，避免公网传输的波动开销。
• 临时关闭非必要的数据库开销：插入操作执行前，暂时禁用目标表的非聚集索引、插入触发器，插入完成后再重建开启，大量数据插入时的索引维护、触发器执行会占用超过60%的DTU资源。
• 调整连接参数：在SQL连接字符串中添加Packet Size=32767，增大TDS协议的传输包大小，减少网络传输的包数量，进一步降低网络开销。
• 串行逻辑拆分：当前代码是执行一条INSERT、再写一行文件，两个IO操作串行等待，可改为先把所有SQL脚本写入本地文件，再统一批量执行数据库操作，避免两类IO互相阻塞。

二、SQL Bulk Copy方案效果说明 #

SQL Bulk Copy可以完全解决当前的插入慢问题，实测同区域Azure环境下4万条8列数据的插入耗时可压缩到10秒以内，完全可以达到和本地SQL Server持平的速度：

• 该API是SQL Server官方提供的大批量数据插入专用接口，直接使用SQL Server的批量插入协议，不需要逐行解析执行INSERT语句，仅需1~2次数据库往返，完全消除了逐行请求的网络延迟开销。
• 相比普通INSERT操作，SQL Bulk Copy会最小化事务日志的写入量，DTU消耗仅为逐行插入的10%~20%，即使用当前的S2 50 DTU配置也完全够用。
• 支持自定义批量提交阈值，可根据业务需要设置每1000~5000条提交一次，平衡插入速度和异常回滚的粒度。
• 如果你需要保留生成用户可下载的.sql脚本的需求，可并行处理两类操作：一边准备SQL Bulk Copy的数据源，一边异步写入INSERT脚本到本地文件，两类操作互不阻塞，不会额外增加整体耗时。

内容的提问来源于stack exchange，提问作者tvbRPTI2754