Linux环境下，能否延迟创建文件目录项至写入完成后？

问题背景 #

我需要写入一个耗时数分钟的文件，外部软件会定期检查文件是否存在，一旦检测到就启动处理，但文件未写完时处理会失败，且无法修改这款外部软件。目前采用的临时文件写完再重命名的方案，在dask并行生成大量文件时会导致流程复杂且产生延迟，因此寻求替代方案。

核心需求：将文件目录项的创建推迟到文件关闭/写入完成时，而非打开写入文件的时刻（当前调用open(dest, 'w')会同时创建inode和目录项）。要求不能将文件全部载入内存，仅针对Linux环境。

可行方案（Linux专属） #

1. 利用O_TMPFILE创建匿名inode后再链接（推荐，Linux 3.11+） #

Linux内核3.11及以上支持O_TMPFILE标志，可创建仅存在inode、无目录项的匿名文件，写入完成后再通过系统调用将其链接到目标路径，此时才会生成目录项。

Python示例代码：

import os

dest = "/path/to/target/file"
target_dir = os.path.dirname(dest)
target_filename = os.path.basename(dest)

# 获取目标目录的文件描述符
dir_fd = os.open(target_dir, os.O_RDONLY)

try:
    # 创建匿名临时文件，O_TMPFILE需配合O_RDWR/O_WRONLY，同时指定权限
    fd = os.open(target_dir, os.O_TMPFILE | os.O_RDWR, 0o644)
    # 分批次写入内容，无需一次性加载到内存
    os.write(fd, b"First batch of data\n")
    os.write(fd, b"Second batch of data\n")
    # ... 更多写入操作

    # 将匿名文件原子性链接到目标路径
    os.linkat(fd, "", dir_fd, target_filename, os.AT_EMPTY_PATH)
finally:
    os.close(fd)
    os.close(dir_fd)

• 未链接前，匿名文件的所有文件描述符关闭后会被自动清理；
• linkat操作是原子性的，外部软件只会在链接完成后看到完整的文件，彻底避免未写完被检测的问题。

2. 同文件系统临时文件+硬链接（兼容旧版Linux） #

若系统不支持O_TMPFILE，可在目标文件所在的同一文件系统下创建临时文件，写入完成后通过硬链接将其关联到目标路径：

import os
import tempfile

dest = "/path/to/target/file"
target_dir = os.path.dirname(dest)

# 在目标目录下创建临时文件，确保与目标文件同文件系统
tmp_fd, tmp_path = tempfile.mkstemp(dir=target_dir)
try:
    # 分批次写入内容
    os.write(tmp_fd, b"Data chunk\n")
    # ... 更多写入操作

    # 硬链接临时文件到目标路径（原子操作）
    os.link(tmp_path, dest)
finally:
    os.close(tmp_fd)
    # 链接完成后删除临时文件，硬链接存在时inode不会被销毁
    os.unlink(tmp_path)

• 硬链接操作比跨文件系统的重命名更高效，在并行场景下延迟更低；
• 必须保证临时文件与目标文件在同一文件系统，否则os.link会报错。

核心原理 #

Linux系统中，文件的inode（存储元数据和数据指针）与目录项（文件名到inode的映射）是分离的：

• 创建文件时必然生成inode，这无法避免；
• 我们可以通过延迟创建目录项的方式，让外部软件无法提前检测到未完成的文件，直到写入全部完成。

内容的提问来源于stack exchange，提问作者gerrit