如何在Cron Job处理前检查Hot Folder中的文件是否已完整上传？

这确实是热文件夹场景里很常见的痛点——尤其是处理大文件时，Cron的定时扫描很容易误抓还在上传的文件。下面分享几个我在实际项目里用过的靠谱方案，你可以根据自己的技术栈和场景选择：

1. 临时文件重命名法（最推荐，可控上传端时） #

让上传方先把文件传到热文件夹的临时名称（比如data.csv.tmp），上传完成后再原子重命名为正式名称（比如data.csv）。你的Cron Job只扫描带有正式后缀/命名规则的文件。

因为文件重命名在大多数文件系统（比如ext4、NTFS）里是原子操作，一旦正式名称的文件出现在目录里，就肯定是完整上传的。处理完文件后，你可以把它移走或者删除，避免重复处理。

2. 上传完成标记文件法 #

如果没法改上传的命名规则，可以让上传方在文件完全上传后，生成一个特定的标记文件。比如上传data.csv完成后，创建data.csv.done或者.data.csv.complete（隐藏文件也可以）。

你的处理脚本逻辑改成：

• 先扫描所有标记文件
• 根据标记文件名找到对应的目标文件
• 确认目标文件存在且大小稳定后，开始处理
• 处理完成后删除标记文件（或者移到归档目录）

这个方法逻辑简单，几乎不会出现误判，适合你能协调上传端行为的场景。

3. 文件大小校验法（不可控上传端时） #

如果完全没法干预上传行为，那就通过连续检查文件大小来判断是否上传完成：

1. 记录当前文件的大小
2. 等待一段时间（比如5-10秒，根据文件大小调整，大文件可以设更长）
3. 再次检查文件大小，如果两次大小一致，说明文件已经停止写入（上传完成）

举个bash脚本的示例：

check_file_completion() {
    local file="$1"
    local wait_time=5
    local prev_size=$(stat -c%s "$file" 2>/dev/null)
    if [ -z "$prev_size" ]; then
        return 1 # 文件不存在
    fi
    sleep "$wait_time"
    local curr_size=$(stat -c%s "$file" 2>/dev/null)
    while [ "$prev_size" -ne "$curr_size" ]; do
        prev_size="$curr_size"
        sleep "$wait_time"
        curr_size=$(stat -c%s "$file" 2>/dev/null)
        if [ -z "$curr_size" ]; then
            return 1 # 文件被删除
        fi
    done
    return 0 # 文件已完成上传
}

# 使用示例
for file in /path/to/hotfolder/*; do
    if check_file_completion "$file"; then
        echo "开始处理文件: $file"
        # 这里调用你的处理逻辑
        # process_file "$file"
    fi
done

注意：如果上传存在中断后恢复的情况，可能需要增加检查次数，避免误判。

4. 文件排他性锁定检查 #

利用操作系统的文件锁机制，尝试以排他方式打开文件——如果能成功打开，说明没有其他进程（比如上传进程）正在写入这个文件。

比如在bash里可以用flock命令实现：

for file in /path/to/hotfolder/*; do
    # 尝试排他锁定文件，成功则说明文件可处理
    if flock -n "$file" -c "echo Lock succeeded"; then
        echo "处理文件: $file"
        # 执行你的处理脚本
        # process_script "$file"
    fi
done

在Python里可以用os.open的O_EXCL标志：

import os

def is_file_ready(file_path):
    try:
        fd = os.open(file_path, os.O_WRONLY | os.O_EXCL)
        os.close(fd)
        return True
    except OSError:
        return False # 文件被锁定或无法写入

# 使用示例
if is_file_ready("/path/to/hotfolder/data.csv"):
    # 处理文件
    pass

注意：这个方法的可靠性取决于上传工具的实现——如果上传工具没有持续锁定文件，可能会出现误判。

5. 实时文件监控替代Cron #

如果Cron的定时扫描不够灵活，可以换成实时监控文件系统变动的工具，比如Linux的inotify或者跨平台的fswatch，只在文件写入完成并关闭时触发处理。

比如用inotifywait的示例：

# 持续监控热文件夹的CLOSE_WRITE事件（文件写入完成并关闭）
inotifywait -m -e close_write /path/to/hotfolder | while read dir event file; do
    echo "检测到完成上传的文件: $dir/$file"
    # 执行处理逻辑
    # process_script "$dir/$file"
done

你可以把这个脚本做成systemd服务，保证它一直后台运行。这种方法的优势是实时触发，不会有Cron扫描的时间间隔误差，也完全不会误抓未完成的文件。

内容的提问来源于stack exchange，提问作者Rostislav V