如何优化遍历DataTable构建Dictionary的C#代码性能？

问题核心分析 #

你代码里的内存问题根源非常明确：每次向已有分组添加元素时，调用itemGroups[groupNum].ToList()会完整复制该分组下的所有现有元素，生成一个全新的List。百万条数据下，这种重复复制会导致巨量的内存分配和GC压力，不仅占用内存，还会拖慢整体执行速度。

另外还有两个次要性能损耗点：

1. Dictionary的值类型用IEnumerable<Item>，每次取值都需要拆箱转换为具体集合类型；
2. GroupNum的解析先转字符串再转int，存在不必要的类型转换开销。

优化后的代码 #

// 直接存储List<Item>，彻底避免转换和复制开销
Dictionary<int, List<Item>> itemGroups = new Dictionary<int, List<Item>>();

foreach (DataRow row in dtItems.Rows)
{
    // 强类型读取分组编号，跳过字符串转换（如果字段是int类型）
    int groupNum = row.Field<int>("GroupNum");
    // 若字段可能为NULL，改用以下方式处理：
    // int? groupNumNullable = row.Field<int?>("GroupNum");
    // if (!groupNumNullable.HasValue) continue; // 跳过无效分组或做其他处理
    // int groupNum = groupNumNullable.Value;

    // 强类型读取字段值，提升效率
    Item item = new Item(
        row.Field<string>("ID"),
        row.Field<string>("Name"),
        row.Field<string>("Description")
    );

    // 一次查找完成判断与取值，比ContainsKey+索引访问少一次字典查找
    if (itemGroups.TryGetValue(groupNum, out var itemList))
    {
        // 直接向原列表添加元素，无任何复制操作
        itemList.Add(item);
    }
    else
    {
        // 初始化新列表，若预估每组元素数量，可指定初始容量进一步优化
        var newGroupList = new List<Item>();
        newGroupList.Add(item);
        itemGroups.Add(groupNum, newGroupList);
    }
}

关键优化点说明 #

1. 消除列表复制：将Dictionary的类型改为Dictionary<int, List<Item>>，直接操作原分组列表，彻底避免每次添加元素时的全量复制，这是解决内存问题的核心。
2. 强类型读取DataRow：使用DataRow.Field<T>方法直接读取对应类型的值，比先转字符串再解析的性能提升明显，同时减少不必要的内存分配。
3. 优化字典查找：用TryGetValue替代「ContainsKey判断 + 索引取值」的组合，减少一次字典查找操作，提升循环效率。

进阶优化建议 #

• 预初始化字典容量：如果能预估分组的大致数量（比如已知有10万个不同分组），初始化时指定容量new Dictionary<int, List<Item>>(100000)，避免字典扩容时的内存复制。
• 分批处理（可选）：如果内存压力仍然很大，可以将DataTable拆分为多个小批次处理，处理完一批后手动触发GC（需谨慎使用），但单线程优化后通常已能应对百万级数据。
• 线程安全（并行场景）：如果需要并行遍历，改用ConcurrentDictionary<int, List<Item>>，但注意并行遍历DataTable时要确保线程安全，且并行适合CPU密集型场景，此处收益可能有限。

内容的提问来源于stack exchange，提问作者Galen Casstevens