大文本去重：MD5哈希与字符计数的速度及CPU占用对比

结论：字符计数方案的运行速度更快、CPU占用更低，完全适配你的场景

具体原因： #

• 字符计数逻辑极简：只需要遍历文本一次做累加统计，时间复杂度为O(n)，且无额外复杂计算——不需要对每个字符执行哈希运算，仅做简单的计数累加。对于20万-100万字符的文本，这个过程几乎瞬间完成。
• MD5哈希计算成本更高：虽然时间复杂度同样是O(n)，但需要对每个字节执行多轮位运算、模运算等哈希操作，单字符的计算开销远大于计数操作，处理相同长度文本时，CPU占用和耗时都会明显高于字符计数。

结合你的场景补充： #

由于你已经明确不同文本不会出现字符数相同的情况，字符计数完全可以作为重复判定的唯一依据——只要两个文本字符数一致，即可直接判定为重复项，无需再进行哈希对比。这种情况下，字符计数的优势被最大化，完全没必要引入更复杂的哈希计算。

内容的提问来源于stack exchange，提问作者Alexey Khachatryan