目录文件数量是否有限制？Java创建文件遇I/O异常排查

问题核心 #

当目录下已有超过170万个文件时，调用Java的File.createNewFile()创建文件会抛出java.io.IOException: Input/output error，但通过SSH手动创建文件（如touch命令）却能正常执行，清空目录后异常消失。

原因分析 #

Java的createNewFile()方法底层依赖UnixFileSystem.createFileExclusively()本地实现，这个方法在创建文件前会全量遍历目录下的所有文件，检查目标文件名是否已存在。当目录文件量达到170万级别时，遍历操作会触发系统资源限制（比如文件描述符耗尽、目录遍历超时），最终抛出IO异常。

而SSH手动创建文件的逻辑不同：touch这类命令不会遍历整个目录做重名检查，而是直接尝试创建文件，仅当文件确实存在时才返回错误，因此不会因目录文件过多触发异常。

解决方案 #

• 拆分目录分散存储：不要在单个目录下存储百万级文件，按业务规则拆分目录，比如按日期、文件名哈希前缀（取文件名前2-3位作为子目录名）分散存储，从根源上避免单目录文件过载。
• 替换createNewFile()方法：
  • 使用Java NIO的Files.createFile()，其底层实现更高效，无需全量遍历目录：

    Path outputPath = Paths.get("xy.txt");
    Files.createFile(outputPath);
    

  • 直接用文件输出流创建（需自行处理文件已存在的场景）：

    try (FileOutputStream fos = new FileOutputStream("xy.txt", false)) {
        // 文件创建完成，可执行写入操作
    } catch (IOException e) {
        // 处理异常逻辑
    }
    

• 调整系统参数（治标方案）：若必须在单目录存大量文件，可尝试调整Linux系统的dir_cache大小、文件描述符上限等参数，但这种方法适配性差，仅作为临时应急手段。

内容的提问来源于stack exchange，提问作者Philipp Schneider