如何二次枚举IEnumerable？大文件场景禁用ToList的替代方案

现有代码：

IEnumerable<string> lines // 传入方法中

foreach (var data in lines.ParseAsEnumerable(Delimiter, StringQualifer))
{
    // ...
}

第一次foreach可正常执行，但二次遍历lines时出现"possible multiple enumeration"警告且无结果，因需处理GB级大文件，禁止使用.ToList()，如何实现二次枚举？

问题根源 #

IEnumerable<T>是延迟执行的类型，若数据源是一次性资源（如文件流、网络流），第一次枚举会耗尽资源；即使不是一次性资源，部分基于yield return实现的扩展方法，也会在枚举结束后重置状态，导致二次枚举无结果。ParseAsEnumerable大概率是基于延迟执行实现的，因此二次遍历原始lines会失效。

可行方案 #

1. 重新创建数据源实例

如果lines来自文件读取（比如File.ReadLines的返回值），二次遍历前重新获取新的数据源实例即可。每次枚举都是独立的流读取，不会占用过多内存：

// 第一次遍历
foreach (var data in lines.ParseAsEnumerable(Delimiter, StringQualifer))
{
    // ... 业务逻辑
}

// 第二次遍历：重新读取文件获取新的IEnumerable<string>
var newLines = File.ReadLines("你的文件路径", Encoding.GetEncoding("GB2312"));
foreach (var line in newLines)
{
    // ... 二次遍历逻辑
}

2. 自定义可复用的枚举包装类

若数据源创建成本较高（或无法重复创建），可以封装一个支持重复枚举的包装类，每次调用GetEnumerator()时都重新生成原始枚举实例：

public class ReusableEnumerable<T> : IEnumerable<T>
{
    private readonly Func<IEnumerable<T>> _enumerableFactory;

    public ReusableEnumerable(Func<IEnumerable<T>> enumerableFactory)
    {
        _enumerableFactory = enumerableFactory ?? throw new ArgumentNullException(nameof(enumerableFactory));
    }

    public IEnumerator<T> GetEnumerator()
    {
        return _enumerableFactory().GetEnumerator();
    }

    IEnumerator IEnumerable.GetEnumerator()
    {
        return GetEnumerator();
    }
}

// 使用示例
var reusableLines = new ReusableEnumerable<string>(() => File.ReadLines("你的文件路径"));

// 第一次遍历
foreach (var data in reusableLines.ParseAsEnumerable(Delimiter, StringQualifer))
{
    // ...
}

// 第二次遍历：自动重新生成数据源枚举器
foreach (var line in reusableLines)
{
    // ...
}

3. 优化ParseAsEnumerable扩展方法

如果ParseAsEnumerable是自定义的扩展方法，检查其实现是否依赖一次性状态。若内部使用yield return，确保每次调用该方法时都基于原始数据源生成新的枚举逻辑，而非复用已耗尽的枚举器。

注意事项 #

• 处理大文件时，所有方案都要保证逐行流处理，避免将整个文件加载到内存。重新读取文件是最直接且低内存的方式，File.ReadLines本身就是逐行读取，内存占用可控。
• 若数据源是网络流或其他不可重复读取的资源，优先考虑方案2，通过工厂方法延迟创建枚举实例。

内容的提问来源于stack exchange，提问作者Scott