如何优化PySpark下数十万级公司名称字符串匹配的运行速度

1 LSH核心参数优化 #

你当前的参数配置是产生大量冗余计算的核心原因：

• 调整MinHashLSH的numHashTables参数：默认值为10，可根据你的精度要求在5~20范围内调整，参数越小计算速度越快，可牺牲少量精度换大幅性能提升
• 降低approxSimilarityJoin的距离阈值：当前你设置的阈值为1（代表Jaccard距离上限为1，会返回所有可能的候选对），会产生海量无效笛卡尔积。可根据业务可接受的最小相似度调整阈值，比如要求Jaccard相似度≥0.6时，阈值设为0.4即可，能减少90%以上的候选对输出

2 预处理流程优化 #

减少无效特征计算量：

• 新增名称归一化步骤：在进入分词流程前，统一将公司名转小写、移除特殊符号、过滤掉“有限责任公司”“股份有限公司”等通用后缀，减少无效ngram生成
• 调整HashingTF的numFeatures参数：默认值为2^{20，可根据数据规模调整到2}16~2^18之间，在可接受的哈希碰撞范围内降低特征向量维度，减少后续哈希计算量

3 Spark执行层优化 #

• 增加缓存逻辑：stored_hashed和landed_hashed两个中间结果需要用于后续join计算，可调用.persist()缓存到内存/磁盘，避免重复执行pipeline的transform流程
• 合理调整分区：两个输入DF的分区数调整为200_{500（单分区数据量控制在100}200MB），避免分区过大导致计算倾斜、分区过小导致调度开销过高
• 广播小表：如果两个DF中有一个数据量明显更小（比如<100万条），可使用broadcast()函数广播小表，避免join阶段的shuffle开销

4 Levenshtein距离计算优化 #

• 优先使用Spark内置的levenshtein函数：不要自行实现Python UDF计算编辑距离，内置函数为原生实现，性能是Python UDF的10倍以上
• 提前过滤候选对：计算编辑距离前，先按LSH输出的confidence排序，仅保留每个待匹配名称的Top3~Top5候选对再计算编辑距离，减少计算量

5 可选进阶优化 #

可增加前置分桶逻辑：根据公司名的前1~2个字符做分桶，仅在同桶内执行LSH匹配，提前过滤掉完全不可能匹配的组合，可再降低70%以上的计算量。

内容的提问来源于stack exchange，提问作者Aym34