如何在Julia中确保文件夹内每个文件仅被函数执行一次？

我有一个每日会新增文件的文件夹，每天需要循环对文件夹内的每个文件执行函数fun1，要求fun1仅对每个文件执行一次，次日不再重复执行。比如第1天Folder里有file1，执行fun1(file1)；第2天新增file2，只执行fun1(file2)，跳过file1。

注意：fun1不会修改源文件（如file1），而是利用源文件的数据修改其他已有文件（如file1s）。

我自己考虑过两种方案，但不确定是否可行：

1. 移动已处理文件到另一个文件夹，代码如下：

for file in readdir(folder1, join=true)
    fun1(file)
    destination = replace(file, "folder1"=> "folder2")
    mv(file, destination)
end

2. 记录已处理文件，代码如下：

processed_files = DataFrame(filename=[])
all_files = readdir(folder1, join = true)
for file in setdiff(all_files, processed_files.filename)
    fun1(file)
    push!(processed_files.filename, file)
end

但担心第二种方案中processed_files会随时间变大，影响效率。想知道这些方法是否可行，或者有没有更符合Julia风格的实现方式？

方案一：移动已处理文件到归档目录 #

这个方案完全可行，也是批量处理文件的常规做法，优势很明显：

• 逻辑简单直接，不需要额外维护记录文件，通过文件夹物理隔离区分已处理/未处理文件，出错概率低
• 避免了记录文件丢失或损坏导致的重复处理问题
• 归档目录的文件还能方便后续回溯检查

需要注意几个细节：

• 确保归档目录提前存在，否则mv会报错，可以在代码开头添加目录检查逻辑
• 如果处理过程中程序崩溃，可能出现部分文件已执行fun1但未完成移动的情况，可在下次运行前做简单校验（比如检查归档目录是否有同名文件）

修正后的Julia代码：

const folder1 = "./待处理文件夹"
const folder2 = "./已处理归档"

# 确保归档目录存在
isdir(folder2) || mkdir(folder2)

for file in readdir(folder1, join=true)
    # 跳过子目录（如果存在的话）
    isfile(file) || continue
    fun1(file)
    # 用joinpath生成目标路径，比直接replace更可靠
    dest_file = joinpath(folder2, basename(file))
    # 允许覆盖已存在的同名归档文件
    mv(file, dest_file; force=true)
end

方案二：记录已处理文件清单 #

这个方案也可行，但需要优化你的初始实现：

• 用DataFrame存储文件名确实过重，单纯的记录用Set{String}更高效，查找和插入都是O(1)复杂度，文件数量增加的效率下降可以忽略
• 必须把记录持久化到本地文件，否则程序重启后会丢失记录，重新处理所有文件

优化后的Julia实现（用文本文件持久化记录）：

const folder1 = "./待处理文件夹"
const record_file = "./已处理文件记录.txt"

# 读取已处理记录，初始化Set
processed = Set{String}()
if isfile(record_file)
    for line in eachline(record_file)
        isempty(line) || push!(processed, line)
    end
end

all_files = [f for f in readdir(folder1, join=true) if isfile(f)]
for file in setdiff(all_files, processed)
    fun1(file)
    push!(processed, file)
    # 实时写入记录，避免程序崩溃丢失数据
    open(record_file, "a") do io
        println(io, file)
    end
end

关于记录文件过大的担忧：即使有100万个文件，每条路径按100字符计算，记录文件也才100MB左右，对现代系统完全没有压力。如果真有需要，可定期归档旧记录，但一般场景下不需要额外操作。

更符合Julia风格的进阶方案 #

可以结合文件系统元数据，比如文件创建时间，每天只处理当天新增的文件：

const folder1 = "./待处理文件夹"
# 获取当天0点的时间戳
today_start = DateTime(now()) - Dates.Hour(Dates.hour(now())) - Dates.Minute(Dates.minute(now())) - Dates.Second(Dates.second(now()))

for file in readdir(folder1, join=true)
    isfile(file) || continue
    # 获取文件创建时间（Windows用ctime，Linux用birthtime，根据系统调整）
    create_time = stat(file).ctime
    create_dt = unix2datetime(create_time)
    if create_dt >= today_start
        fun1(file)
    end
end

这个方案不需要移动文件或维护记录，但缺点是依赖文件系统时间的准确性，如果文件创建时间被修改（比如手动复制旧文件到文件夹），会导致重复处理，适合对文件时间可靠性有信心的场景。

内容的提问来源于stack exchange，提问作者phntm