如何使用Linq根据现有列值匹配规则新增并更新列，处理十万级以上数据

前置准备 #

首先定义数据承载实体，你也可以用匿名类替代ProcessedItem，如果不需要在外部复用处理结果的话：

// 原始数据实体（对应a、b两列）
public class RawItem
{
    public string A { get; set; }
    public string B { get; set; }
}

// 处理后数据实体（新增c、d两列）
public class ProcessedItem
{
    public string A { get; set; }
    public string B { get; set; }
    public string C { get; set; }
    public string D { get; set; }
}

核心处理逻辑 #

针对数十万级数据做了性能优化，避免重复判断：

// 1. 提前定义B列到D列的映射字典，查询复杂度O(1)，规则扩展也更方便
var b2dMapping = new Dictionary<string, string>(StringComparer.OrdinalIgnoreCase)
{
    ["Router"] = "Network",
    ["Switch"] = "Network",
    ["App"] = "Application"
    // 可按需新增其他映射规则
};

// 2. Linq批量处理逻辑
List<ProcessedItem> resultList = rawDataList.Select(item => new ProcessedItem
{
    A = item.A,
    B = item.B,
    // C列赋值逻辑，忽略大小写匹配关键词
    C = item.A.Contains("error", StringComparison.OrdinalIgnoreCase) ? "failed"
        : item.A.Contains("success", StringComparison.OrdinalIgnoreCase) ? "success"
        : string.Empty, // 无匹配关键词时可自定义默认值
    // D列直接查映射字典，无匹配返回自定义默认值
    D = b2dMapping.TryGetValue(item.B.Trim(), out string dVal) ? dVal : "Uncategorized"
}).ToList();

大数据量优化建议 #

• 如果原始数据来自数据库，优先用IQueryable<T>的Select方法做投影，直接在数据库层面完成计算，无需拉取全量原始数据到本地，性能提升数倍
• 不需要保留原始集合的情况下，可以直接给原始实体新增C、D属性，省去实体转换的开销
• 字符串匹配指定StringComparison.OrdinalIgnoreCase既可以避免大小写问题，也比默认的文化匹配性能更高

内容的提问来源于stack exchange，提问作者Phoenix2529