当文件夹存入新CSV文件时自动更新MySQL数据库的实现方案

你的需求非常常见，而且结合你已经有手动导入的基础，实现起来并不复杂。下面是具体的实现思路、步骤以及需要补充学习的内容：

核心实现思路 #

利用.NET自带的FileSystemWatcher组件监控目标文件夹，当有新的CSV文件存入时触发事件，然后复用你已有的CSV解析逻辑，最后将数据批量插入MySQL数据库。

1. 用FileSystemWatcher监控文件夹 #

这是实现自动检测的核心，它能实时监听文件夹的文件创建、修改等操作。

• 关键配置：
  • 设置Path为你要监控的文件夹路径
  • Filter设为*.csv，只监听CSV文件
  • 开启EnableRaisingEvents = true
  • 监听Created事件（注意：这个事件可能会在文件还没完全写入磁盘时触发，所以要处理文件锁定问题）
• 简单代码示例：

var watcher = new FileSystemWatcher();
watcher.Path = @"C:\Your\Target\Folder";
watcher.Filter = "*.csv";
watcher.Created += OnCsvFileCreated;
watcher.EnableRaisingEvents = true;

// 事件处理方法
private async void OnCsvFileCreated(object sender, FileSystemEventArgs e)
{
    // 等待文件完全写入，或者用重试机制处理锁定
    await WaitForFileReady(e.FullPath);
    // 调用你已有的CSV处理方法
    ProcessCsvAndImportToMySql(e.FullPath);
}

// 处理文件锁定的辅助方法
private async Task WaitForFileReady(string filePath)
{
    const int maxRetries = 5;
    int retries = 0;
    while (retries < maxRetries)
    {
        try
        {
            using (var stream = File.Open(filePath, FileMode.Open, FileAccess.Read, FileShare.None))
            {
                if (stream.Length > 0) break;
            }
        }
        catch (IOException)
        {
            retries++;
            await Task.Delay(1000); // 等待1秒后重试
        }
    }
}

2. 复用并优化现有CSV导入逻辑 #

你已经通过OpenFileDialog实现了手动导入，现在只需要把CSV解析、数据映射的部分抽成独立的方法（比如ProcessCsvFile(string filePath)），这样在监控到新文件时直接调用即可。

• 注意点：
  • 如果CSV文件较大，建议采用流式读取（比如用CsvHelper库，比手动解析更高效可靠），避免内存溢出
  • 加入异常捕获，记录错误日志，方便排查导入失败的原因

3. MySQL批量插入优化 #

如果CSV数据量较大，单条插入会很慢，建议用批量插入提升效率：

• 使用MySQL的批量INSERT语句：INSERT INTO your_table (col1, col2) VALUES (val1, val2), (val3, val4), ...
• 或者用MySqlConnector库中的MySqlBulkCopy类（类似SQL Server的SqlBulkCopy），直接将DataTable或数据流批量写入数据库
• 加入事务处理，确保导入过程中出现错误时可以回滚，避免数据不一致

需要补充学习的内容 #

• FileSystemWatcher官方文档：了解它的事件触发机制、常见坑点（比如重复触发、文件锁定），以及如何配置更可靠的监控
• MySqlConnector使用指南：如果之前用的是旧的MySQL驱动，建议升级到MySqlConnector，它支持异步操作和批量插入，性能更优
• 文件IO最佳实践：学习如何处理文件锁定、异常重试（可以用Polly库实现重试策略），确保程序稳定性
• 日志框架：比如Serilog或NLog，记录导入日志，方便后续排查问题

额外注意事项 #

• 避免重复导入：可以在数据库中建立一个表记录已处理的文件名和导入时间，或者用本地配置文件记录，防止程序重启后重复处理同一个文件
• 权限配置：确保运行程序的账户有目标文件夹的读取权限，以及MySQL数据库的写入权限
• 测试场景：测试文件正在写入时的触发情况、大文件导入性能、异常情况下的回滚机制

内容的提问来源于stack exchange，提问作者Anirban