如何提升.NET控制台文件整理程序的运行效率？

我写了一个.NET控制台程序，用来把某目录下的大量（>10,000个）极小文件整理成root/yyyy/MM/dd/file.name的目录结构。处理少量文件（<1,000个）时速度挺快，但文件越多耗时越长。作为.NET和C#新手，我想知道并行移动文件或者批量压缩文件能不能提升效率？最终希望避免文件数量过大时程序卡顿或崩溃。

以下是我用的代码：

using System;
using System.IO;
using System.Configuration;

namespace consolefilemover
{
    internal class Program
    {
        static void Main(string[] args)
        {
            string rootDir = ConfigurationManager.AppSettings["rootDir"];
            string[] files = Directory.GetFiles(rootDir);
            string log = "auditlog.txt";

            foreach (string filePath in files)
            {
                FileInfo fileInfo = new FileInfo(filePath);
                DateTime lastModifiedDate = fileInfo.LastWriteTime;

                // 创建基于最后修改日期的目标目录路径
                string destinationDir = Path.Combine(rootDir, lastModifiedDate.ToString("yyyy"), lastModifiedDate.ToString("MM"), lastModifiedDate.ToString("dd"));

                // 如果目标目录不存在则创建
                Directory.CreateDirectory(destinationDir);

                // 移动文件到目标目录
                string destinationFilePath = Path.Combine(destinationDir, Path.GetFileName(filePath));
                if (!File.Exists(destinationFilePath))
                {
                    File.Move(filePath, destinationFilePath);
                }
                else
                {
                    destinationFilePath = Path.Combine(destinationDir, Path.GetFileNameWithoutExtension(filePath) + DateTime.Now.ToString("yyyyMMddHHmmss") + Path.GetExtension(filePath));
                    File.Move(filePath, destinationFilePath);
                }

                // 生成月度审计日志路径
                string logfile = Path.Combine(rootDir, lastModifiedDate.ToString("yyyy"), lastModifiedDate.ToString("MM"), log);

                // 定义日志内容
                string logInfo = Environment.NewLine + lastModifiedDate.ToString("yyyyMMdd") + " | 源路径: " + filePath + " | 目标路径: " + destinationFilePath;

                // 写入日志文件
                File.AppendAllText(logfile, logInfo);
            }
        }
    }
}

1. 并行处理的可行性与优化点 #

并行移动文件确实能提升效率，但要注意几个核心限制和优化方向：

• 文件系统瓶颈：机械硬盘的并行IO提升有限，SSD效果更明显。建议用Parallel.ForEach并设置合理的最大并行度（比如new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount * 2 }），避免无限制并行导致IO阻塞。
• 线程安全问题：
  • Directory.CreateDirectory本身线程安全，但频繁重复调用会增加开销，建议先批量收集所有需要创建的目录，去重后一次性创建，减少重复判断。
  • File.AppendAllText不是线程安全的，多线程同时写同一个日志文件会导致内容混乱或异常，需要用lock包裹写入操作，或者改用线程安全的日志缓存方式（比如先把日志存入内存队列，最后批量写入）。
• 内存优化：用Directory.EnumerateFiles代替Directory.GetFiles，前者是延迟枚举，每次只加载一个文件路径，避免一次性把10万+文件名加载到内存导致的内存压力。

2. 批量压缩的作用 #

批量压缩对整理文件结构这个目标帮助不大，压缩本身需要额外的IO和CPU开销，反而会增加总耗时。除非你的最终目的是减少存储空间，否则不建议用压缩来提升整理效率。

3. 原代码的其他优化点 #

• 减少重复计算：提前格式化好年、月、日字符串，避免多次调用lastModifiedDate.ToString()。
• 优化文件存在性检查：File.Move本身会在目标文件存在时抛出异常，建议捕获异常并重命名，而非提前做File.Exists检查（检查和移动之间存在竞态条件，可能出现检查后文件被其他进程创建的情况）。
• 日志写入优化：不要每次移动文件都调用File.AppendAllText，可以先把日志内容缓存到内存，再批量写入，减少IO操作次数。

优化后的示例代码 #

using System;
using System.IO;
using System.Configuration;
using System.Threading.Tasks;
using System.Collections.Concurrent;

namespace consolefilemover
{
    internal class Program
    {
        static readonly object _logLock = new object();
        
        static void Main(string[] args)
        {
            string rootDir = ConfigurationManager.AppSettings["rootDir"];
            string logFileName = "auditlog.txt";
            // 延迟枚举文件，降低内存占用
            var files = Directory.EnumerateFiles(rootDir);
            // 并发收集需要创建的目录，自动去重
            var directoriesToCreate = new ConcurrentHashSet<string>();

            Parallel.ForEach(files, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount * 2 }, filePath =>
            {
                FileInfo fileInfo = new FileInfo(filePath);
                DateTime lastModifiedDate = fileInfo.LastWriteTime;

                string year = lastModifiedDate.ToString("yyyy");
                string month = lastModifiedDate.ToString("MM");
                string day = lastModifiedDate.ToString("dd");

                string destinationDir = Path.Combine(rootDir, year, month, day);
                directoriesToCreate.Add(destinationDir);

                string destFileName = Path.GetFileName(filePath);
                string destinationFilePath = Path.Combine(destinationDir, destFileName);

                try
                {
                    File.Move(filePath, destinationFilePath);
                }
                catch (IOException)
                {
                    // 文件已存在，重命名后移动
                    string newFileName = $"{Path.GetFileNameWithoutExtension(destFileName)}{DateTime.Now:yyyyMMddHHmmss}{Path.GetExtension(destFileName)}";
                    destinationFilePath = Path.Combine(destinationDir, newFileName);
                    File.Move(filePath, destinationFilePath);
                }

                // 准备日志内容
                string logInfo = $"{Environment.NewLine}{lastModifiedDate:yyyyMMdd} | 源路径: {filePath} | 目标路径: {destinationFilePath}";
                string logFile = Path.Combine(rootDir, year, month, logFileName);

                // 加锁保证日志写入线程安全
                lock (_logLock)
                {
                    File.AppendAllText(logFile, logInfo);
                }
            });

            // 一次性创建所有需要的目录
            foreach (var dir in directoriesToCreate)
            {
                Directory.CreateDirectory(dir);
            }
        }

        // 自定义并发哈希集合，用于目录去重
        public class ConcurrentHashSet<T> : ConcurrentDictionary<T, byte>
        {
            public void Add(T item)
            {
                TryAdd(item, 0);
            }
        }
    }
}

4. 避免崩溃的关键措施 #

• 异常捕获：在移动文件、写入日志等关键操作周围添加try-catch块，记录异常并继续处理其他文件，避免单个文件的异常导致整个程序崩溃。
• 分批处理：如果文件数量超过百万级，可以分批处理，每次处理1000-5000个文件，避免长时间占用系统资源。
• 权限检查：提前确认程序对目标目录有读写权限，避免因权限不足导致的崩溃。

内容的提问来源于stack exchange，提问作者user22671676