如何基于动态包含/排除参数实现日志行的Contains过滤逻辑？

我正在开发一个小型工具，用来过滤包含450万行数据的大型日志文件。筛选规则基于包含和排除的搜索参数，受内存限制，采用逐行读取的方式处理日志。

原硬编码的判断逻辑如下：

if (line.Contains(parameterToInclude1) && line.Contains(parameterToInclude2) && !line.Contains(parameterToExclude1) && !line.Contains(parameterToExclude2))

现在希望实现动态配置，允许用户添加任意数量的包含和排除参数，已定义如下类：

public class SearchParametersClass
{
    public List<string> included { get; set; }
    public List<string> excluded { get; set; }
}

需要实现逻辑：判断每行日志是否包含included列表中的所有参数，同时不包含excluded列表中的任何参数，该如何处理？

可以借助LINQ的All和Any方法实现动态判断，同时需考虑列表为空的边界场景（如included为空时默认所有行满足包含条件；excluded为空时默认所有行满足排除条件）。

核心判断方法 #

public bool IsLineMatching(string line, SearchParametersClass parameters)
{
    // 处理包含条件：列表为空则默认满足，否则需包含所有参数
    bool meetsIncluded = parameters.included?.Count == 0 || parameters.included == null
        ? true
        : parameters.included.All(param => line.Contains(param));

    // 处理排除条件：列表为空则默认满足，否则需不包含任何参数
    bool meetsExcluded = parameters.excluded?.Count == 0 || parameters.excluded == null
        ? true
        : !parameters.excluded.Any(param => line.Contains(param));

    return meetsIncluded && meetsExcluded;
}

逐行处理示例 #

结合日志逐行读取的场景，使用方式如下：

// 初始化用户配置的搜索参数
var searchParams = new SearchParametersClass
{
    included = new List<string> { "ERROR", "TIMEOUT" },
    excluded = new List<string> { "DEBUG", "TEST" }
};

// 逐行读取并过滤日志
using (var reader = new StreamReader("large_log.txt"))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        if (IsLineMatching(line, searchParams))
        {
            // 处理符合条件的行，例如写入输出文件或控制台
            // Console.WriteLine(line);
        }
    }
}

性能优化建议 #

针对450万行的大数据量，可通过以下细节提升效率：

• 提前校验included和excluded的状态，避免每行都重复判断列表是否为空
• 若需要忽略大小写匹配，使用line.IndexOf(param, StringComparison.OrdinalIgnoreCase) >= 0替代Contains（Contains默认区分大小写，IndexOf指定比较规则更灵活）
• 若included或excluded列表参数较多，可预编译正则表达式（需注意正则复杂度，避免反向影响性能）

示例：忽略大小写的判断逻辑

bool meetsIncluded = parameters.included?.Count == 0 || parameters.included == null
    ? true
    : parameters.included.All(param => line.IndexOf(param, StringComparison.OrdinalIgnoreCase) >= 0);

bool meetsExcluded = parameters.excluded?.Count == 0 || parameters.excluded == null
    ? true
    : !parameters.excluded.Any(param => line.IndexOf(param, StringComparison.OrdinalIgnoreCase) >= 0);

内容的提问来源于stack exchange，提问作者Cainnech