基于FileInfo对象列表批量创建大量文件的最优方案咨询

针对你要创建70多万个文件的需求，直接用foreach当然可行，但确实有不少优化空间，尤其是在IO性能、内存占用和稳定性上。下面分几个维度给你具体的方案和建议：

1. 并行处理：按需控制并发数，利用IO潜力 #

文件创建是IO密集型操作，不是CPU密集型，所以无脑开高并发反而会打满磁盘IO（尤其是机械硬盘），导致速度变慢。建议用Parallel.ForEach并限制并发数：

• SSD磁盘可以把并发数设高一点（比如Environment.ProcessorCount * 2）
• 机械硬盘建议设低一些（比如4-8），避免磁头频繁寻道拖慢速度

示例代码：

// 配置并行选项，控制并发数
var parallelOptions = new ParallelOptions 
{ 
    MaxDegreeOfParallelism = Environment.ProcessorCount * 2 // 根据磁盘类型调整
};

Parallel.ForEach(fileInfoList, parallelOptions, fileInfo =>
{
    try
    {
        // 先确保文件所在目录存在（避免创建文件时因目录不存在报错）
        var fileDir = Path.GetDirectoryName(fileInfo.FullName);
        if (!Directory.Exists(fileDir))
        {
            Directory.CreateDirectory(fileDir);
        }

        // 创建空文件，用using自动释放文件资源
        using (File.Create(fileInfo.FullName)) { }
    }
    catch (Exception ex)
    {
        // 记录异常，不要直接抛出中断整个任务
        Console.WriteLine($"创建文件失败：{fileInfo.FullName}，错误信息：{ex.Message}");
    }
});

2. 串行优化：减少重复IO操作，稳扎稳打 #

如果你的磁盘性能一般（比如机械硬盘），串行处理反而更稳定，只要做一些优化就能提升效率：

• 提前批量创建所有需要的目录：很多文件会共享同一个目录，先把所有唯一目录提取出来一次性创建，避免每个文件都检查目录是否存在
• 避免重复判断文件是否存在（如果不需要覆盖已有文件的话）

示例代码：

// 第一步：提取所有唯一目录并批量创建
var uniqueDirectories = fileInfoList
    .Select(f => Path.GetDirectoryName(f.FullName))
    .Distinct()
    .ToList();

foreach (var dir in uniqueDirectories)
{
    if (!Directory.Exists(dir))
    {
        Directory.CreateDirectory(dir);
    }
}

// 第二步：批量创建文件
foreach (var fileInfo in fileInfoList)
{
    try
    {
        if (!File.Exists(fileInfo.FullName)) // 可选：避免覆盖已有文件
        {
            using (File.Create(fileInfo.FullName)) { }
        }
    }
    catch (Exception ex)
    {
        Console.WriteLine($"创建文件失败：{fileInfo.FullName}，错误信息：{ex.Message}");
    }
}

3. 源头优化：减少内存占用，边读边处理 #

你当前的ReturnFileFromDBInfo会把70万条记录全部加载到内存里，虽然70万条数据内存占用不算特别高，但如果机器内存有限，或者后续数据量变大，建议直接边从数据库读取数据边创建文件，不用先把所有FileInfo存到List里：

优化后的数据库读取+文件创建代码：

public static void CreateFilesDirectlyFromDB()
{
    var connectionString = @"data source = MYPC\SQLEXPRESS; database = MYDB; integrated security = TRUE";
    
    // 用HashSet缓存已创建的目录，避免重复创建
    var createdDirectories = new HashSet<string>();

    using (SqlConnection conn = new SqlConnection(connectionString))
    {
        conn.Open();
        // 用JOIN代替旧的逗号连接表，更规范
        var query = @"SELECT a.partNumber, b.fullPath, a.fileType, a.baseID 
                      FROM drawings a 
                      JOIN bases_bases b ON a.baseID = b.id";
        
        using (var cmd = new SqlCommand(query, conn))
        {
            using (SqlDataReader dataReader = cmd.ExecuteReader())
            {
                while (dataReader.Read())
                {
                    // 拼接完整文件路径（假设文件名是partNumber + .fileType）
                    var fullFilePath = Path.Combine(
                        dataReader["fullPath"].ToString(),
                        $"{dataReader["partNumber"].ToString()}.{dataReader["fileType"].ToString()}"
                    );
                    
                    var fileDir = Path.GetDirectoryName(fullFilePath);
                    if (!createdDirectories.Contains(fileDir))
                    {
                        Directory.CreateDirectory(fileDir);
                        createdDirectories.Add(fileDir);
                    }

                    try
                    {
                        if (!File.Exists(fullFilePath))
                        {
                            using (File.Create(fullFilePath)) { }
                        }
                    }
                    catch (Exception ex)
                    {
                        Console.WriteLine($"创建文件失败：{fullFilePath}，错误信息：{ex.Message}");
                    }
                }
            }
        }
    }
}

另外，原数据库操作代码要记得用using语句自动释放连接、命令和DataReader，避免资源泄漏，上面的代码已经修正了这个问题。

4. 关键注意事项 #

• 错误处理：一定要捕获异常并记录，不然单个文件创建失败会导致整个任务终止，后续还可以针对失败的文件做批量重试
• 文件覆盖：根据需求决定是否覆盖已有文件，File.Create会直接覆盖，所以如果需要保留原有文件，一定要先判断File.Exists
• 权限检查：确保程序有目标路径的读写权限，不然会抛出UnauthorizedAccessException
• 测试先行：先拿小批量数据测试不同方案的速度，再决定用哪种方式（比如SSD适合并行，HDD适合串行或低并发）

内容的提问来源于stack exchange，提问作者Fernando Araujo