C#操作SQLite大数据库时遭遇磁盘I/O错误求助

首先得明确，这个(665)错误可不是磁盘空间不够的锅——你剩余空间还大把呢，它是NTFS文件系统的碎片化或事务日志限制在搞鬼。SQLite在处理超大事务的时候，会生成体积不小的临时日志文件，当NTFS没法给这些文件分配连续的磁盘块，或者日志操作触发了文件系统的内部限制时，就会弹出这个“由于文件系统限制，请求的操作无法完成”的报错。

咱们来一步步解决这个问题：

1. 拆分大事务，别一次性搞太大 #

默认情况下，如果你没手动开启事务，SQLite会给每一条INSERT都自动提交一次，这效率很低；但反过来，如果你把几万甚至几十万条数据塞进一个事务里，又会触发NTFS的限制。最好的办法是分批次提交事务，比如每10000条数据提交一次，示例代码如下：

using (var conn = new SQLiteConnection("Data Source=D:\\System.db;Version=3;"))
{
    conn.Open();
    using (var transaction = conn.BeginTransaction())
    {
        var cmd = conn.CreateCommand();
        cmd.CommandText = "INSERT INTO YourTable (Col1, Col2) VALUES (@val1, @val2)";
        // 假设你有一个dataList存储要插入的数据
        int batchSize = 10000;
        for (int i = 0; i < dataList.Count; i++)
        {
            var data = dataList[i];
            cmd.Parameters.AddWithValue("@val1", data.Val1);
            cmd.Parameters.AddWithValue("@val2", data.Val2);
            cmd.ExecuteNonQuery();
            cmd.Parameters.Clear();
            
            // 每batchSize条提交一次事务
            if ((i + 1) % batchSize == 0)
            {
                transaction.Commit();
                transaction.Dispose();
                // 开启新事务
                transaction = conn.BeginTransaction();
            }
        }
        // 提交最后一批剩余的数据
        transaction.Commit();
    }
}

2. 调整SQLite的参数，降低磁盘I/O压力 #

可以通过几个PRAGMA命令优化SQLite的写入行为，减少触发NTFS限制的概率：

• 调整日志模式：如果之前用了WAL模式，暂时切换回DELETE模式，避免额外的WAL文件碎片化问题：

  PRAGMA journal_mode = DELETE;
  

• 降低同步级别：默认的FULL同步级别会严格保证数据安全，但批量导入时可以暂时改成NORMAL，减少磁盘同步次数：

  PRAGMA synchronous = NORMAL;
  

• 增大缓存大小：给SQLite分配更大的内存缓存，减少频繁的磁盘写入：

  PRAGMA cache_size = -200000; -- 这里的负数表示MB，即200MB缓存
  

注意：这些参数可以在数据库连接后执行，批量导入完成后可以改回默认值（比如把synchronous改回FULL）。

3. 优化NTFS磁盘的设置 #

• 关闭磁盘索引：右键你的磁盘（D盘）→属性→取消勾选“允许索引服务对此磁盘上的文件内容进行索引”，索引服务会在后台频繁读写磁盘，可能干扰SQLite的写入操作。
• 禁用NTFS 8.3文件名格式：打开管理员命令提示符，执行下面的命令，然后重启系统。这个格式会占用MFT（主文件表）的空间，禁用后能减少碎片化：

  fsutil behavior set disable8dot3 1
  

• 整理磁盘碎片：如果是机械硬盘，打开磁盘碎片整理工具，对D盘进行碎片整理；如果是SSD，虽然不需要整理，但可以检查一下磁盘的健康状态。

4. 提前整理SQLite数据库的碎片化 #

在开始批量导入前，先执行VACUUM;命令，这个命令会重新整理数据库文件，消除内部碎片化，让后续的写入操作更顺畅：

VACUUM;

注意：这个命令会锁表，而且执行时间可能比较长，要确保没有其他程序在访问数据库的时候执行。

按照上面的步骤来，应该就能解决这个NTFS限制导致的Disk I/O错误了。

内容的提问来源于stack exchange，提问作者Ozzah