SQL Server批量插入20万文档超时问题求助（附C#代码）

嘿，结合你的场景（20万份文档、单份最大50MB、程序部署在数据库本地服务器）和代码来看，超时问题主要是大文件插入时单条命令超时+批量插入效率不足导致的。下面给你几个针对性的解决办法：

1. 先给命令加个足够长的超时时间 #

默认SqlCommand的超时只有30秒，50MB的大文件插入肯定不够用。你只需要在创建命令后加一行设置：

SqlCommand cmd = new SqlCommand(insertSQL, con);
cmd.CommandTimeout = 300; // 设成5分钟，可根据实际插入速度再调整

这是最快速的临时修复，能先解决大文件插入的超时问题。

2. 换成SqlBulkCopy做批量插入，效率提升N倍 #

单条ExecuteNonQuery处理20万条数据实在太慢了，SQL Server的SqlBulkCopy专门用来干批量导入的活，速度快很多，还能减少超时概率。给你改个适配你场景的代码示例：

string spath = @"c:\documents";
string[] files = Directory.GetFiles(spath, "*.*", SearchOption.AllDirectories);
Console.Write("Files Count:" + files.Length);

using (SqlConnection con = new SqlConnection(connectionString))
{
    con.Open();
    // 初始化批量拷贝对象，设置批量大小和超时
    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))
    {
        bulkCopy.DestinationTableName = "table_Temp";
        bulkCopy.BatchSize = 50; // 每次插50条，可根据服务器性能调大/小
        bulkCopy.BulkCopyTimeout = 600; // 批量操作超时设10分钟

        // 映射DataTable列和数据库表列
        bulkCopy.ColumnMappings.Add("doc_content", "doc_content");
        bulkCopy.ColumnMappings.Add("doc_path", "doc_path");

        // 创建临时存储数据的DataTable
        DataTable dt = new DataTable();
        dt.Columns.Add("doc_content", typeof(byte[]));
        dt.Columns.Add("doc_path", typeof(string));

        int fileCount = 0;
        foreach (string docPath in files)
        {
            string newPath = docPath.Remove(0, spath.Length);
            // 读取文件内容
            byte[] fileBytes = File.ReadAllBytes(docPath);
            
            DataRow row = dt.NewRow();
            row["doc_content"] = fileBytes;
            row["doc_path"] = newPath;
            dt.Rows.Add(row);

            fileCount++;
            // 达到批量大小就提交一次
            if (fileCount % bulkCopy.BatchSize == 0)
            {
                bulkCopy.WriteToServer(dt);
                dt.Clear();
                Console.Write("|");
            }
            Console.Write(".");
        }
        // 处理最后一批不足批量大小的数据
        if (dt.Rows.Count > 0)
        {
            bulkCopy.WriteToServer(dt);
        }
    }
}

要是担心大文件占内存，也可以用FileStream配合自定义IDataReader来流式插入，避免一次性把大文件读进内存。

3. 优化现有事务策略（如果坚持用单条插入） #

你现在每10条提交一次事务，对于大文件来说这个批量可能有点大，建议改成每5条提交一次，减少单事务的执行时间。另外，每次提交事务后最好重置一下命令参数，避免参数复用可能的潜在问题：

// 提交事务后重新初始化参数
cmd.Parameters.Clear();
var pFile = cmd.Parameters.Add("@File", SqlDbType.VarBinary, -1);
var pPath = cmd.Parameters.Add("@path", SqlDbType.Text);

4. 大文件建议用FILESTREAM存储 #

如果你的文档里超过1MB的占比很高，SQL Server的FILESTREAM会是更好的选择。它把大文件存在文件系统里，数据库只存引用，既能提升插入/读取速度，还能避免数据库文件膨胀得太厉害。需要先在SQL Server里启用FILESTREAM，再修改表结构和代码适配。

5. 调整SQL Server服务器配置 #

• 确保服务器有足够内存，别因为内存不够拖慢操作
• 检查tempdb配置：大文件插入会用到tempdb，建议把tempdb的多个数据文件分散到不同磁盘，提升IO性能
• 临时改恢复模式：如果数据库是完整恢复模式，大量插入会产生巨量日志，建议先改成简单恢复模式，插完再改回去，能大幅提升速度

内容的提问来源于stack exchange，提问作者nav100