如何在C#中优化foreach循环以更高效地读取处理文本文件行并提升MongoDB批量写入性能？

兄弟，我太懂你处理大文本文件+MongoDB批量写入时卡得要死的感受了！70k行说多不多，但架不住逐行处理+单次插入的低效操作拖后腿。结合你已经尝试的bulkWrite和异步批量思路，我给你补几个实打实能提效的优化点，都是踩坑后总结的干货：

• 文本读取别贪全，异步+延迟加载才是王道
  别用File.ReadAllLines，这货会一次性把所有行怼进内存，70k行还好但扩展性差，而且加载过程会阻塞主线程。换成File.ReadLines（延迟加载，读一行处理一行，不占大内存）或者StreamReader.ReadLineAsync异步逐行读取，C# 8+还支持await foreach异步迭代，能边读边处理，不用等全文件读完再动手。另外直接指定文件编码，比如new StreamReader(filePath, Encoding.UTF8)，别让系统自动检测编码，能省不少额外开销。

• 攒批写入要讲策略，别瞎攒也别逐行丢
  你已经用了bulkWrite，但得控制批次大小——别逐行处理完就写，也别攒几万条才动。建议每攒1000条（这个数可以调，500-2000之间试，看单条数据大小：数据小就多攒点，数据大就少攒点）就触发一次BulkWriteAsync，写完清空批次容器。另外别让读取和处理写入串行卡着，用System.Threading.Channels搞生产者消费者模式：一个异步任务专门读行塞到Channel里，1-2个异步任务从Channel取数据处理攒批写Mongo，这样读和处理能并行，不会互相等。

• MongoDB写入的细节优化，能提不少速

  • 一定要用BulkWriteAsync而非同步版，同时根据业务场景调WriteConcern：如果不需要强一致性，把WriteConcern设为W=1（默认其实就是，但别设成更高的比如W=多数节点，会慢很多），或者允许Unacknowledged（但这个是不等待Mongo确认，快但有丢数据风险，谨慎用）。
  • 全局复用一个MongoClient实例！这货是线程安全的，别每次写入都new一个，频繁创建销毁连接巨耗时间。另外可以调大连接池大小，比如在MongoClientSettings里把MaxConnectionPoolSize设为200-500（默认100），适合批量写入的高并发场景。
  • 批量操作里尽量只放同一种操作（比如全是InsertOneModel），MongoDB对同类型批量操作的优化会更好，别混着更新、插入、删除。

• foreach循环的避坑技巧

  • 如果你用的是File.ReadLines返回的IEnumerable<string>，foreach本身其实已经优化过了，但如果是异步场景，一定要用await foreach（C# 8+支持），别用foreach套Task.Run乱开线程，反而会导致内存爆炸或者连接池耗尽。
  • 处理逻辑里别在循环里频繁创建新对象，比如每次都new BsonDocument()，可以用对象池（比如ObjectPool<BsonDocument>）复用实例，减少GC压力，避免GC停顿拖慢速度。

• 最后一定要测，找到自己场景的最优解
  用Stopwatch分别测读文件、处理数据、写入Mongo的耗时，看哪个环节拖后腿针对性调。比如批次大小，不同数据量最优值不一样，测500、1000、1500这几个数，看哪个速度最快。

备注：内容来源于stack exchange，提问作者evomoreira