Julia中如何实现带自定义行解析的逐行文件迭代器

快速实现匹配预期的调用形式 #

要实现eachline(解析函数, 文件句柄)的调用逻辑，同时满足逐行读取、不一次性加载大文件的要求，只需要给eachline新增一个匹配对应签名的方法即可，核心是用惰性生成器包裹内置的逐行迭代能力：

function eachline(parser::Function, io::IO; keep::Bool=false, kwargs...)
    # 惰性生成器：仅在被遍历时才触发读行、解析的操作
    return (parser(line) for line in eachline(io; keep=keep, kwargs...))
end

这个实现的内存行为和内置eachline完全一致：每轮循环迭代时，才会从文件读取一行内容、传入解析函数处理，全程不会把整个文件加载到内存，哪怕是GB级别的大文件也可以正常处理。
实现完成后，你编写的调用逻辑可以直接正常运行：

open("posets7.txt") do f
    for p in eachline(poset, f)
        # 逐行拿到解析完成的偏序集实例，执行后续处理
    end
end

实现要点 #

注意避开全量读入的坑：不要使用map(poset, readlines(f))这类写法，readlines会一次性将整个文件的所有行读入内存形成数组，大文件场景下会快速占用大量内存，和逐行处理的目标相悖。

• 无方法冲突风险：新增的eachline方法依赖Julia的多重派发匹配，只会在调用参数为（解析函数, 文件句柄）的组合时触发，和原有内置eachline的调用逻辑完全隔离，不会破坏原有使用体验。
• 兼容原有行为：上述实现会将keep等关键字参数透传给底层内置的eachline，保留原有逐行读取的全部特性，不会改变原本的使用习惯。
• 错误定位友好：因为是逐行即时解析，某一行格式不符合解析要求抛出异常时，可直接定位到对应的文件位置，不会因为全量读入增加排查成本。

如果需要和更多Julia生态的迭代器工具适配，也可以把这个惰性生成器封装为自定义的具名迭代器类型，补充对应的迭代器特质声明，不过对绝大多数业务场景，上面的轻量实现已经完全够用。

内容的提问来源于stack exchange，提问作者Uli Fahrenberg