如何实现主线程持续获取ODBC数据，SqlCMD进程按顺序执行

核心思路 #

用线程安全的任务队列分离"数据获取/文件生成"（主线程）和"SqlCmd执行"（后台消费线程）的逻辑：

• 主线程只负责生成SQL文件，然后将任务加入队列，立即继续下一张表的处理，完全不被阻塞
• 单独启动一个后台线程，持续从队列中取出任务顺序执行，确保同一时间只有一个SqlCmd进程运行

具体实现（以C#为例） #

1. 初始化队列与后台工作线程 #

在类级别声明线程安全队列和后台任务，确保程序启动时初始化后台消费逻辑：

using System.Collections.Concurrent;
using System.Diagnostics;
using System.Threading.Tasks;

public class DataExporter
{
    // 线程安全的任务队列，存储待执行的SQL插入文件路径
    private readonly BlockingCollection<string> _sqlTaskQueue = new BlockingCollection<string>();
    // 后台执行SqlCmd的工作任务
    private Task _sqlExecutionWorker;

    public DataExporter()
    {
        // 启动后台工作线程，长期运行
        _sqlExecutionWorker = Task.Run(async () =>
        {
            // 持续从队列取任务，队列为空时自动等待
            foreach (var sqlFilePath in _sqlTaskQueue.GetConsumingEnumerable())
            {
                try
                {
                    // 执行单条SqlCmd任务
                    ExecuteSqlCmd(sqlFilePath);
                }
                catch (Exception ex)
                {
                    // 异常处理：记录日志、标记失败等，根据业务需求调整
                    Console.WriteLine($"执行SqlCmd失败，文件：{sqlFilePath}，错误信息：{ex.Message}");
                }
            }
        }, TaskCreationOptions.LongRunning);
    }
}

2. 调整主线程数据处理逻辑 #

修改exportOdbcToSQLDB方法，生成SQL文件后仅将任务加入队列，不等待执行完成：

public void exportOdbcToSQLDB(string tableName)
{
    // 步骤1：从ODBC获取当前表数据
    var tableData = FetchDataFromOdbc(tableName);
    
    // 步骤2：生成SQL插入文件，返回文件路径
    string sqlInsertFilePath = GenerateSqlInsertFile(tableData, tableName);
    
    // 步骤3：将任务加入队列，主线程立即返回，继续处理下一张表
    _sqlTaskQueue.Add(sqlInsertFilePath);
}

// 以下为示例辅助方法，根据实际业务实现
private object FetchDataFromOdbc(string tableName)
{
    // 实现ODBC数据获取逻辑
    return null;
}

private string GenerateSqlInsertFile(object tableData, string tableName)
{
    // 实现SQL插入文件生成逻辑，返回文件路径
    return $"C:\\temp\\{tableName}_inserts.sql";
}

3. 实现SqlCmd执行方法 #

将原ExecuteQbInserts调整为执行单个文件的逻辑，确保进程执行完成后再返回：

private void ExecuteSqlCmd(string sqlFilePath)
{
    // 构造SqlCmd命令参数，根据实际环境修改服务器、数据库、认证信息
    string sqlCmdArguments = $"-S YourSQLServer -d TargetDB -U Username -P Password -i \"{sqlFilePath}\"";

    using (var sqlCmdProcess = new Process())
    {
        sqlCmdProcess.StartInfo = new ProcessStartInfo
        {
            FileName = "sqlcmd.exe",
            Arguments = sqlCmdArguments,
            UseShellExecute = false,
            RedirectStandardOutput = true,
            RedirectStandardError = true,
            CreateNoWindow = true, // 不显示命令行窗口
            WindowStyle = ProcessWindowStyle.Hidden
        };

        sqlCmdProcess.Start();
        // 等待SqlCmd进程执行完成
        sqlCmdProcess.WaitForExit();

        // 读取输出与错误信息，用于日志排查
        string output = sqlCmdProcess.StandardOutput.ReadToEnd();
        string error = sqlCmdProcess.StandardError.ReadToEnd();

        if (!string.IsNullOrEmpty(error))
        {
            throw new InvalidOperationException($"SqlCmd执行出错：{error}");
        }
    }
}

关键优化点与注意事项 #

• 队列容量控制：可以给BlockingCollection设置容量上限（如new BlockingCollection<string>(10)），防止主线程生成文件过快导致磁盘/内存占用过高。当队列满时，主线程的Add操作会暂时阻塞，直到后台线程处理完一个任务。
• 程序退出处理：在程序关闭前，需调用_sqlTaskQueue.CompleteAdding()通知后台线程停止接收新任务，然后调用_sqlExecutionWorker.Wait()等待所有剩余任务执行完成，避免任务丢失。
• 异常容错：根据业务需求调整异常处理逻辑，比如失败任务是否重试、是否中断后续执行等。

内容的提问来源于stack exchange，提问作者Atiq Ur Rehman