C#如何高效在多份CSV文件中搜索指定列值并提取匹配行
优化方案
1. 替换待匹配值的存储结构
把你现在存5000+待匹配列值的集合换成HashSet<string>,它的包含判断复杂度是O(1),远高于数组/列表的O(n)查找效率。如果不需要区分大小写,初始化时传入StringComparer.OrdinalIgnoreCase即可兼容格式差异。
HashSet<string> targetMatchValues = new HashSet<string>(colValues, StringComparer.OrdinalIgnoreCase);
2. 调整循环顺序+预解析目标文件数据
你当前的实现效率低的核心原因是循环层级写反了:外层遍历待匹配值、内层遍历所有文件行,相当于每行要重复拆分5000次。反过来只需要遍历所有目标文件行1次,拆分后判断当前行的目标列是否在待匹配集合里即可,总遍历次数直接从25.5亿次降到51万次,性能提升上千倍。
可以直接在加载文件阶段做预解析,避免运行时重复拆分行:
// 预定义行存储结构,也可以用元组替代 public struct ParsedCsvRow { public string TargetColumnValue; public string RawContent; public string SourceFileName; } // 加载文件时一次性预解析所有行 List<ParsedCsvRow> preprocessedRows = new List<ParsedCsvRow>(); foreach (var filePath in allCsvFilePaths) { string[] rows = File.ReadAllLines(filePath); foreach (string row in rows) { // 按你原有逻辑拆分列,注意如果CSV存在带逗号的引号包裹字段,建议替换为CsvHelper等专业解析库避免拆分错误 string[] columns = row.Split(','); // 替换为你实际需要匹配的列索引,从0开始计数 string matchValue = columns[yourTargetColumnIndex].Trim(); preprocessedRows.Add(new ParsedCsvRow { TargetColumnValue = matchValue, RawContent = row, SourceFileName = filePath }); } }
3. 执行搜索
预解析完成后,单次遍历即可拿到所有匹配行:
List<ParsedCsvRow> matchedResults = preprocessedRows .Where(row => targetMatchValues.Contains(row.TargetColumnValue)) .ToList();
额外性能优化建议
- 如果你的CPU是多核,可直接用PLINQ进一步提速,只需加个
AsParallel():List<ParsedCsvRow> matchedResults = preprocessedRows .AsParallel() .Where(row => targetMatchValues.Contains(row.TargetColumnValue)) .ToList(); - 如果后续需要多次执行不同值的匹配任务,可以预生成按匹配列分组的Lookup结构,后续查询直接秒出:
ILookup<string, ParsedCsvRow> rowLookup = preprocessedRows.ToLookup(r => r.TargetColumnValue); // 要查某个值的所有匹配行直接调用:rowLookup["目标值"] - 待匹配的5000个值建议先做去重处理,减少HashSet的冗余存储。
内容的提问来源于stack exchange,提问作者Md. Parwez Akhtar
相关产品推荐
相关产品推荐

