You need to enable JavaScript to run this app. C#如何高效在多份CSV文件中搜索指定列值并提取匹配行
优惠活动
大模型
产品
解决方案
定价
更多

C#如何高效在多份CSV文件中搜索指定列值并提取匹配行

优化方案

1. 替换待匹配值的存储结构

把你现在存5000+待匹配列值的集合换成HashSet<string>,它的包含判断复杂度是O(1),远高于数组/列表的O(n)查找效率。如果不需要区分大小写,初始化时传入StringComparer.OrdinalIgnoreCase即可兼容格式差异。

HashSet<string> targetMatchValues = new HashSet<string>(colValues, StringComparer.OrdinalIgnoreCase);

2. 调整循环顺序+预解析目标文件数据

你当前的实现效率低的核心原因是循环层级写反了:外层遍历待匹配值、内层遍历所有文件行,相当于每行要重复拆分5000次。反过来只需要遍历所有目标文件行1次,拆分后判断当前行的目标列是否在待匹配集合里即可,总遍历次数直接从25.5亿次降到51万次,性能提升上千倍。
可以直接在加载文件阶段做预解析,避免运行时重复拆分行:

// 预定义行存储结构,也可以用元组替代
public struct ParsedCsvRow
{
    public string TargetColumnValue;
    public string RawContent;
    public string SourceFileName;
}

// 加载文件时一次性预解析所有行
List<ParsedCsvRow> preprocessedRows = new List<ParsedCsvRow>();
foreach (var filePath in allCsvFilePaths)
{
    string[] rows = File.ReadAllLines(filePath);
    foreach (string row in rows)
    {
        // 按你原有逻辑拆分列,注意如果CSV存在带逗号的引号包裹字段,建议替换为CsvHelper等专业解析库避免拆分错误
        string[] columns = row.Split(',');
        // 替换为你实际需要匹配的列索引,从0开始计数
        string matchValue = columns[yourTargetColumnIndex].Trim();
        preprocessedRows.Add(new ParsedCsvRow
        {
            TargetColumnValue = matchValue,
            RawContent = row,
            SourceFileName = filePath
        });
    }
}

3. 执行搜索

预解析完成后,单次遍历即可拿到所有匹配行:

List<ParsedCsvRow> matchedResults = preprocessedRows
    .Where(row => targetMatchValues.Contains(row.TargetColumnValue))
    .ToList();

额外性能优化建议

  • 如果你的CPU是多核,可直接用PLINQ进一步提速,只需加个AsParallel():
    List<ParsedCsvRow> matchedResults = preprocessedRows
        .AsParallel()
        .Where(row => targetMatchValues.Contains(row.TargetColumnValue))
        .ToList();
    
  • 如果后续需要多次执行不同值的匹配任务,可以预生成按匹配列分组的Lookup结构,后续查询直接秒出:
    ILookup<string, ParsedCsvRow> rowLookup = preprocessedRows.ToLookup(r => r.TargetColumnValue);
    // 要查某个值的所有匹配行直接调用:rowLookup["目标值"]
    
  • 待匹配的5000个值建议先做去重处理,减少HashSet的冗余存储。

内容的提问来源于stack exchange,提问作者Md. Parwez Akhtar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 11:39:03