如何在不额外分配内存的情况下从大文本字符串中移除指定行？

问题核心 #

原代码中Enum.join()会将整个过滤后的流拼接成一个新字符串，导致内存中同时存在原字符串和拼接后的结果，直接造成内存占用翻倍。解决的关键是避免一次性将所有处理后的数据加载到内存，采用流式逐行处理的思路。

最优方案 #

1. 流式处理文件（推荐，针对文件输入场景） #

如果原始数据来自文件，直接通过文件流逐行处理并写入目标文件，全程仅在内存中保留当前处理的行：

# 读取源文件，过滤指定行后写入目标文件
File.stream!("source.txt", [], :line)
|> Stream.reject(&Regex.match?(~r{<date_of_creation>.*</date_of_creation>}, &1))
|> Stream.into(File.stream!("target.txt"))
|> Stream.run()

• 原理：File.stream!以行为单位读取文件，Stream.reject过滤不需要的行，Stream.into将处理后的行直接写入目标文件，Stream.run触发整个流的执行。全程无大内存块分配，内存占用仅为单条行的大小。

2. 处理内存中的大字符串（避免Enum.join()） #

如果必须处理内存中的大字符串，可以通过双IO设备逐行处理，避免一次性拼接结果：

{:ok, source_device} = StringIO.open(s)
{:ok, target_device} = StringIO.open("", [:binary])

# 逐行过滤并写入目标设备
source_device
|> IO.binstream(:line)
|> Stream.reject(&Regex.match?(~r{<date_of_creation>.*</date_of_creation>}, &1))
|> Enum.each(&IO.write(target_device, &1))

# 仅在必须获取内存中结果时使用（仍会产生一份内存拷贝）
result = StringIO.contents(target_device)

• 优化点：如果不需要将结果保留在内存中（比如直接输出到标准输出），可以跳过最后一步，直接用IO.write(:stdio, &1)替代写入target_device，此时内存仅存当前行，无额外大内存占用。

3. 纯Erlang实现（逐行文件处理） #

用Erlang原生文件操作模块实现流式处理，逻辑与Elixir方案一致：

process_file(SourcePath, TargetPath) ->
    {ok, SourceFd} = file:open(SourcePath, [read, binary]),
    {ok, TargetFd} = file:open(TargetPath, [write, binary]),
    process_lines(SourceFd, TargetFd),
    file:close(SourceFd),
    file:close(TargetFd).

process_lines(SourceFd, TargetFd) ->
    case file:read_line(SourceFd) of
        {ok, Line} ->
            case re:run(Line, "<date_of_creation>.*</date_of_creation>") of
                nomatch -> file:write(TargetFd, Line);
                _ -> ok
            end,
            process_lines(SourceFd, TargetFd);
        eof -> ok
    end.

• 原理：逐行读取源文件，匹配正则后决定是否写入目标文件，全程无大内存分配。

总结 #

如果最终不需要将结果保留在内存中，优先选择流式写入外部存储/输出设备的方案，可完全避免内存翻倍问题；若必须得到内存中的字符串，虽无法避免一份拷贝，但通过逐行处理可减少中间过程的内存占用。

内容的提问来源于stack exchange，提问作者vaer-k