基于SQL Data Client在C#中实现SQL大数据集查询及MERGE操作进度指示器

阿华AIGC实验室

2026-5-19

当然可以实现！不管是处理超百万条的SQL查询结果，还是耗时的MERGE（含INSERT/UPDATE/DELETE）操作，在C#的控制台或WinForms应用里都能搞定进度指示器，下面分场景给你唠唠具体怎么做：

一、超百万条查询结果的进度指示

首先，用SqlDataReader读取数据时，它是逐行流式读取的，这天然给了我们做进度统计的机会。这里分两种实现思路：

1. 先获取总记录数（精准进度）

如果你能接受先执行一次COUNT(*)查询获取总条数，那就能做精准的进度条。虽然多一次查询，但胜在进度直观，用户能清晰看到完成比例。

控制台示例

using System.Data.SqlClient;

var connectionString = "你的数据库连接字符串";
var query = "SELECT * FROM 你的大表";

// 先查询总记录数
long totalRows = 0;
using (var conn = new SqlConnection(connectionString))
{
    conn.Open();
    var countCmd = new SqlCommand("SELECT COUNT(*) FROM 你的大表", conn);
    totalRows = (long)countCmd.ExecuteScalar();
}

// 开始读取数据并更新进度
long processedRows = 0;
using (var conn = new SqlConnection(connectionString))
{
    conn.Open();
    var cmd = new SqlCommand(query, conn);
    using (var reader = cmd.ExecuteReader())
    {
        while (reader.Read())
        {
            // 处理单条数据的业务逻辑
            // ...

            processedRows++;
            // 每处理1000条更新一次控制台（避免频繁刷新影响性能）
            if (processedRows % 1000 == 0)
            {
                var progress = (double)processedRows / totalRows * 100;
                Console.Write($"\r进度: {progress:F2}% ({processedRows}/{totalRows})");
            }
        }
    }
}
Console.WriteLine("\n查询完成！");

WinForms示例（避免UI卡死）

WinForms里不能在UI线程直接做耗时的读取操作，得用后台线程（比如Task.Run），然后通过Invoke跨线程更新UI控件：

private async void btnStartQuery_Click(object sender, EventArgs e)
{
    var connectionString = "你的数据库连接字符串";
    var query = "SELECT * FROM 你的大表";
    progressBar1.Maximum = 100;

    // 先查询总记录数
    long totalRows = 0;
    using (var conn = new SqlConnection(connectionString))
    {
        await conn.OpenAsync();
        var countCmd = new SqlCommand("SELECT COUNT(*) FROM 你的大表", conn);
        totalRows = (long)await countCmd.ExecuteScalarAsync();
    }

    long processedRows = 0;
    await Task.Run(() =>
    {
        using (var conn = new SqlConnection(connectionString))
        {
            conn.Open();
            var cmd = new SqlCommand(query, conn);
            using (var reader = cmd.ExecuteReader())
            {
                while (reader.Read())
                {
                    // 处理单条数据的业务逻辑
                    // ...

                    processedRows++;
                    if (processedRows % 1000 == 0)
                    {
                        var progress = (int)((double)processedRows / totalRows * 100);
                        // 跨线程更新UI控件
                        progressBar1.Invoke((Action)(() =>
                        {
                            progressBar1.Value = progress;
                            lblStatus.Text = $"进度: {progress}% ({processedRows}/{totalRows})";
                        }));
                    }
                }
            }
        }
    });

    lblStatus.Text = "查询完成！";
    progressBar1.Value = 100;
}

2. 无总条数的增量进度（无需额外查询）

如果不想先查总条数（比如表数据实时变化，COUNT结果不准），可以做“增量式”进度提示，比如每处理N条就显示当前已处理的数量：

// 控制台示例
long processedRows = 0;
while (reader.Read())
{
    // 处理数据逻辑
    processedRows++;
    if (processedRows % 1000 == 0)
    {
        Console.Write($"\r已处理: {processedRows:N0} 条记录");
    }
}

二、耗时MERGE操作的进度指示

MERGE是批量操作，数据库默认不会返回中间执行进度，所以得换点思路，下面给两种常用方案：

1. 拆分MERGE为批次处理（最稳妥）

把大的MERGE拆成多个小批次，每处理完一批就更新进度。比如每次处理1000条，这样既能控制内存占用，又能清晰跟踪进度，还能避免长时间锁表。

控制台示例

using System.Data.SqlClient;

var connectionString = "你的数据库连接字符串";
var batchSize = 1000;
long totalSourceRows = 0;

// 先获取源数据总条数
using (var conn = new SqlConnection(connectionString))
{
    conn.Open();
    var countCmd = new SqlCommand("SELECT COUNT(*) FROM 源表", conn);
    totalSourceRows = (long)countCmd.ExecuteScalar();
}

long processedBatches = 0;
long totalBatches = (long)Math.Ceiling((double)totalSourceRows / batchSize);

using (var conn = new SqlConnection(connectionString))
{
    conn.Open();
    var transaction = conn.BeginTransaction();
    try
    {
        for (long i = 0; i < totalSourceRows; i += batchSize)
        {
            var mergeCmd = new SqlCommand(@"
                MERGE INTO 目标表 t
                USING (
                    SELECT * FROM 源表
                    ORDER BY 主键列
                    OFFSET @Offset ROWS FETCH NEXT @BatchSize ROWS ONLY
                ) s ON t.主键列 = s.主键列
                WHEN MATCHED THEN UPDATE SET t.字段1 = s.字段1, t.字段2 = s.字段2
                WHEN NOT MATCHED THEN INSERT (字段1, 字段2) VALUES (s.字段1, s.字段2);
            ", conn, transaction);
            mergeCmd.Parameters.AddWithValue("@Offset", i);
            mergeCmd.Parameters.AddWithValue("@BatchSize", batchSize);
            
            mergeCmd.ExecuteNonQuery();
            processedBatches++;
            
            var progress = (double)processedBatches / totalBatches * 100;
            Console.Write($"\rMERGE进度: {progress:F2}% ({processedBatches}/{totalBatches} 批次)");
        }
        transaction.Commit();
    }
    catch (Exception ex)
    {
        transaction.Rollback();
        Console.WriteLine($"\nMERGE失败: {ex.Message}");
        throw;
    }
}
Console.WriteLine("\nMERGE完成！");

2. 监听数据库的进度消息（实时性强）

如果不想拆分批次，可以修改MERGE的SQL脚本，让它在执行过程中输出进度消息，然后在C#里监听SqlConnection的InfoMessage事件来捕获这些消息，进而更新进度。

步骤1：修改SQL脚本（添加PRINT输出）

DECLARE @TotalRows INT = (SELECT COUNT(*) FROM 源表);
DECLARE @ProcessedRows INT = 0;

-- 用游标循环处理源数据（也可以改成小批次逻辑）
DECLARE cur CURSOR FOR SELECT Id FROM 源表;
DECLARE @TargetId INT;
OPEN cur;
FETCH NEXT FROM cur INTO @TargetId;

WHILE @@FETCH_STATUS = 0
BEGIN
    -- 执行单条MERGE操作
    MERGE INTO 目标表 t
    USING (SELECT * FROM 源表 WHERE Id = @TargetId) s ON t.Id = s.Id
    WHEN MATCHED THEN UPDATE SET t.字段1 = s.字段1
    WHEN NOT MATCHED THEN INSERT (Id, 字段1) VALUES (s.Id, s.字段1);

    SET @ProcessedRows += 1;
    -- 每1000条输出一次进度
    IF @ProcessedRows % 1000 = 0
    BEGIN
        PRINT 'PROGRESS:' + CAST((@ProcessedRows * 100 / @TotalRows) AS VARCHAR(5));
    END

    FETCH NEXT FROM cur INTO @TargetId;
END
CLOSE cur;
DEALLOCATE cur;

步骤2：C#里监听InfoMessage事件（控制台示例）

using System.Data.SqlClient;

var connectionString = "你的数据库连接字符串";
var mergeSql = "上面的MERGE脚本";

int currentProgress = 0;
using (var conn = new SqlConnection(connectionString))
{
    // 注册InfoMessage事件，捕获SQL的PRINT输出
    conn.InfoMessage += (sender, e) =>
    {
        foreach (var msg in e.Errors)
        {
            if (msg.Message.StartsWith("PROGRESS:"))
            {
                currentProgress = int.Parse(msg.Message.Substring(9));
                Console.Write($"\rMERGE进度: {currentProgress}%");
            }
        }
    };

    conn.Open();
    var cmd = new SqlCommand(mergeSql, conn);
    cmd.ExecuteNonQuery();
}
Console.WriteLine("\nMERGE完成！");