构建类SQL Developer的.NET WinForm IDE：无分页处理海量SQL查询方案求助

专业SQL IDE（如SSMS、SQL Developer）处理大结果集时，核心是流式读取数据库数据+客户端虚拟化缓存，不会修改原SQL语句，也不会发起多次分页查询，以下是具体实现思路：

1. 使用数据库流式读取API #

不要用Fill(DataTable)这种一次性加载全量数据的方法，改用SqlDataReader的顺序访问模式，让数据库逐行返回数据，而非一次性把百万行加载到内存：

// 构建查询命令，开启顺序访问模式
using var command = new SqlCommand("SELECT * FROM LargeTableA", connection);
command.CommandTimeout = 0; // 禁用超时，适配大查询
using var reader = command.ExecuteReader(CommandBehavior.SequentialAccess);

CommandBehavior.SequentialAccess会让SqlDataReader以流式方式读取数据，每读一行才从数据库获取该行内容，避免内存爆炸。

2. 结合DataGridView虚拟化 #

WinForms的DataGridView支持虚拟模式，无需提前加载所有行数据，只需为可见区域提供数据：

• 开启虚拟模式：

dataGridView1.VirtualMode = true;
dataGridView1.AllowUserToAddRows = false;
dataGridView1.AllowUserToDeleteRows = false;

• 实现CellValueNeeded事件，从缓存中获取对应行列的数据：

private void dataGridView1_CellValueNeeded(object sender, DataGridViewCellValueEventArgs e)
{
    // _rowCache是自定义的行缓存集合，存储已读取的行数据
    if (e.RowIndex >= _firstCachedRowIndex && e.RowIndex < _firstCachedRowIndex + _rowCache.Count)
    {
        var rowData = _rowCache[e.RowIndex - _firstCachedRowIndex];
        e.Value = rowData[e.ColumnIndex];
    }
    else
    {
        // 从临时文件读取超出内存缓存的行数据
        e.Value = ReadRowFromTempFile(e.RowIndex);
    }
}

3. 后台线程读取+滑动窗口缓存 #

为避免阻塞UI，在后台线程中读取SqlDataReader，并维护一个滑动窗口缓存（只保留当前可见区域前后的若干行，比如5000行），超出范围的旧数据写入本地临时文件缓存，需要时再读取：

private List<object[]> _rowCache = new List<object[]>();
private int _firstCachedRowIndex = 0;
private long _totalRowsRead = 0;
private readonly object _rowCacheLock = new object();

// 后台线程读取数据
_ = Task.Run(() =>
{
    var columnCount = reader.FieldCount;
    while (reader.Read())
    {
        var row = new object[columnCount];
        // 逐列读取当前行数据
        for (int i = 0; i < columnCount; i++)
        {
            row[i] = reader.IsDBNull(i) ? null : reader.GetValue(i);
        }
        
        // 将行数据加入缓存，用锁保证线程安全
        lock (_rowCacheLock)
        {
            _rowCache.Add(row);
            // 超出缓存上限时，将旧数据写入临时文件
            if (_rowCache.Count > 5000)
            {
                WriteRowToTempFile(_rowCache[0]);
                _rowCache.RemoveAt(0);
                _firstCachedRowIndex++;
            }
        }
        
        // 更新DataGridView的行数（需回到UI线程）
        Invoke(() =>
        {
            dataGridView1.RowCount = (int)_totalRowsRead + 1;
        });
        _totalRowsRead++;
    }
    
    // 读取完成后关闭连接、清理资源
    reader.Close();
    connection.Close();
});

4. 关键细节处理 #

• 查询取消：提供取消按钮，通过CancellationToken终止后台读取线程，同时调用SqlCommand.Cancel()中断数据库查询。
• 总行数处理：无需提前执行COUNT查询，可在流式读取过程中动态更新DataGridView的RowCount，专业IDE大多采用这种动态加载的方式。
• 内存与磁盘平衡：根据客户端内存大小调整内存缓存的行数，大结果集优先用磁盘临时文件缓存，避免内存溢出。

内容的提问来源于stack exchange，提问作者dpkkry