Python2与Python3统计文本文件行数结果不一致问题排查

这不是Python3的bug，核心差异在于两者对换行符的处理逻辑不同：

• Python2的open()在文本模式下，会将\r\n、\r、\n全部视为换行符，读取时统一转换为\n，并且不会把文件末尾单独的\r或未以换行符结尾的内容算作一行。
• Python3的open()文本模式默认换行处理更严格：它会依据系统默认换行规则识别换行，同时如果文件末尾存在单独的\r字符，或者最后一行没有终止的换行符，Python3会将这些内容额外算作一行，这就是行数变多的原因。

而cat file.txt | wc -l的统计逻辑和Python2一致：它只统计文件中\n的数量，不会把末尾无换行符的内容或单独的\r算作新行，所以结果和Python2匹配。

解决办法 #

如果需要让Python3的统计结果和Python2、wc -l一致，可以用以下两种方式：

1. 指定newline=''打开文件，原样读取换行符后统计\n的出现次数：

   with open(filename, 'r', encoding='utf-8', newline='') as f:
       line_count = sum(1 for line in f if line.endswith('\n'))
   

2. 以二进制模式读取文件，直接统计b'\n'的数量：

   with open(filename, 'rb') as f:
       line_count = f.read().count(b'\n')
   

另外，你可以检查文件内容，确认是否存在单独的\r字符或未以换行符结尾的行，这些是导致行数差异的直接诱因。

内容的提问来源于stack exchange，提问作者Nathan G