为何使用StandardOpenOption.SYNC仍出现文件竞态条件？

为什么StandardOpenOption.SYNC没解决你的问题？ #

SYNC的作用和你理解的完全不是一回事：它只负责强制操作系统把写入缓存中的数据同步到物理硬盘，防止系统崩溃或断电时数据丢失，但不提供任何多线程并发写入的线程安全保障。你遇到的最大值异常、计数不一致，本质是多线程同时往同一个文件写入时的竞态条件——比如两个线程同时写数字123和456，字节流交错后变成123456，直接被解析成超大数值；多个线程同时更新计数、最小值统计时，也会因为没有同步导致数据混乱。

问题根源 #

你用BufferedReader.lines()如果开启了并行流（比如调用了parallel()），那么分组写入的操作会被多个线程同时执行。即使每个文件用了SYNC选项，多个线程对同一个文件的写入操作依然是无锁的，数据交错、统计变量并发修改的问题必然会出现。

解决方法 #

1. 串行处理写入：如果数据处理压力不大，直接用串行流（默认就是串行，不要加parallel()），分组后逐个写入文件，完全避免并发冲突。
2. 给每个文件的写入加锁：如果必须用并行流提升处理速度，为每个目标文件分配一个独立的锁（比如用Map<String, Lock>，键是文件名），写入前先获取对应文件的锁，写完再释放，确保同一文件的写入操作串行执行。
3. 避免在Collector中直接做写入操作：可以先把数据按分组收集到内存（如果分组后每个组的数据量不大），再统一写入文件，这样既利用并行流处理读取，又避免了并发写入的问题。

举个简单的锁实现示例：

Map<String, Lock> fileLocks = new ConcurrentHashMap<>();

// 获取对应文件的锁
Lock lock = fileLocks.computeIfAbsent(fileName, k -> new ReentrantLock());
lock.lock();
try {
    // 执行文件写入操作
} finally {
    lock.unlock();
}

内容的提问来源于stack exchange，提问作者davidalayachew