SqlDataReader读取数据远慢于SSMS的性能问题排查

问题描述 #

我遇到一个性能问题：某查询在SQL Server Management Studio（SSMS）中仅需约4秒完成，但在C#中通过SqlDataReader迭代读取时却耗时约80秒。该查询非常简单，返回单个字符串列，平均每行包含约230个字符，共约200,000行，语句为：

SELECT TOP 200000 [t].[mytestcolumn] FROM [TestTable] AS [t]

已做的排查：

• 执行计划完全一致；
• 原本ARITHABORT为OFF，在C#命令中执行SET ARITHABORT ON;后也无改善；
• SQL Server的详细分析确认查询语句和执行计划完全相同，但C#端的duration约为SSMS的40倍。

补充信息：

• SQL服务器位于异地，但应用和SSMS均在本地运行；
• 使用Microsoft.Data.SqlClient类，应用引用了NuGet包Microsoft.EntityFrameworkCore.SqlServer v3.1.23；
• Web应用基于net6.0。

C#代码片段：

while (reader.Read()) {
   reader.GetString(0);
}

请问这种差异的原因是什么？如何让应用获取数据的速度达到SSMS水平？有没有比迭代DataReader更好的方案？

一、性能差异的核心原因 #

1. 数据读取模式差异
   SSMS默认采用批量读取+异步缓冲的方式获取数据，会一次性从服务器拉取较大批次的结果集到本地缓存；而默认配置下的SqlDataReader采用较小的数据包批次（默认4KB），导致多次往返服务器，异地网络环境下的延迟被大幅放大。

2. 驱动版本与配置缺失
   你使用的Microsoft.EntityFrameworkCore.SqlServer v3.1.23依赖的Microsoft.Data.SqlClient版本较旧，旧版本驱动在大结果集读取时的网络优化不足；同时未配置合适的Packet Size和CommandBehavior参数，数据传输效率低下。

3. SSMS的隐式优化
   SSMS执行查询时会自动启用SET NOCOUNT ON、更大的数据包大小等优化配置，且后台数据读取是高度优化的批量操作；而你的C#代码仅做基础逐行读取，未利用批量读取特性。

二、让C#端性能追平SSMS的优化方案 #

1. 调整SqlCommand与连接配置

   • 增大数据包大小：在连接字符串中设置Packet Size=8192（最大支持32767），减少网络往返次数：

     Server=你的服务器地址;Database=目标库;User Id=账号;Password=密码;Packet Size=8192;
     

   • 使用CommandBehavior.SequentialAccess：专为大结果集设计的流式读取模式，减少内存占用并提升效率：

     using var reader = command.ExecuteReader(CommandBehavior.SequentialAccess);
     while (reader.Read())
     {
         var value = reader.GetString(0);
     }
     

   • 显式添加SET NOCOUNT ON：避免服务器返回每行计数信息，减少传输数据量：

     command.CommandText = "SET NOCOUNT ON; SELECT TOP 200000 [t].[mytestcolumn] FROM [TestTable] AS [t]";
     

2. 升级驱动版本
   将Microsoft.EntityFrameworkCore.SqlServer升级到与net6.0兼容的最新稳定版本（如v6.0.x系列），对应的Microsoft.Data.SqlClient会同步升级，新版本修复了大量网络传输和数据读取的性能问题。

3. 启用异步读取
   Web应用中使用异步API可减少线程阻塞，更高效利用网络资源：

using var reader = await command.ExecuteReaderAsync(CommandBehavior.SequentialAccess);
while (await reader.ReadAsync())
{
    var value = reader.GetString(0);
}

三、比迭代DataReader更好的方案 #

1. 批量读取字符串数据
   通过GetChars方法批量读取，减少逐行读取的开销：

using var reader = command.ExecuteReader(CommandBehavior.SequentialAccess);
char[] buffer = new char[4096];
while (reader.Read())
{
    long charsRead;
    int totalChars = 0;
    do
    {
        charsRead = reader.GetChars(0, totalChars, buffer, 0, buffer.Length);
        totalChars += (int)charsRead;
    } while (charsRead > 0);
    var value = new string(buffer, 0, totalChars);
}

2. 使用Dapper封装优化
   Dapper对SqlDataReader做了高效封装，批量读取API比原生基础迭代更高效：

var results = connection.Query<string>("SELECT TOP 200000 [t].[mytestcolumn] FROM [TestTable] AS [t]").ToList();

3. SqlBulkCopy（适用于数据写入场景）
   如果最终需要将数据写入其他数据源，SqlBulkCopy直接利用SQL Server批量导入机制，跳过逐行读取的开销，是性能最优的选择。

内容的提问来源于stack exchange，提问作者Julien Brousseau