求Python/C++实现:百万级域名列表重复字符序列精准统计程序
百万级域名高频子串统计实现需求
我有百万级域名列表(示例:blockme.com、do.remove-me.com等),希望基于该列表统计重复次数最多的字符序列,进而生成能覆盖尽可能多域名的正则表达式。
此前使用终端命令统计:
tr -c '[:alnum:]' '[ *]' < test.txt | sort | uniq -c | sort -nr | head -10
得到的统计结果如下:
125054 com 11715 net 7823 us 7502 co 6736 2 6628 west 6495 sequoia 6464 org 5901 uk 5815 sex
但该命令统计结果不准确:比如sex实际重复90k次,仅被检测到5815次;com实际存在127k次,统计值为125054次。经分析,这属于最长重复子串问题,但找到的现有实现均无法复现上述终端命令的输出格式,请求编写Python或C++实现。
内容的提问来源于stack exchange,提问作者user26602032
相关产品推荐
相关产品推荐

