为何TextIOWrapper.seek()不使用缓冲区？

问题重现 #

操作10-50MB的文本文件时，读取一行后用seek回到该行起始位置再读一次，原本以为文件会被一次性载入缓冲区，仅触发一次磁盘读取，但实际25MB的文件却产生了1.2GB的磁盘读取量；移除seek调用后，文件仅被读取一次。代码如下：

input("Press Enter to start...")
with open('file.txt', 'r', 50 * 1024 * 1024, 'utf-8', newline='\n') as file:
    while True:
        pos = file.tell()
        l1 = file.readline()
        if not l1:
            break
        
        file.seek(pos)
        l2 = file.readline()
input("Press Enter to exit...")

原因解析 #

核心问题出在TextIOWrapper的逻辑位置与底层字节缓冲区的不匹配：

• TextIOWrapper是文本模式的封装，它维护了一个字节缓冲区用于从磁盘读取数据，然后解码成字符串返回。
• tell()返回的是文本层面的逻辑位置（即当前已读取的字符数对应的偏移），而非底层文件的字节偏移。
• 当你调用seek(pos)时，TextIOWrapper无法将这个逻辑位置精准映射到当前字节缓冲区中的具体位置（因为UTF-8是可变长度编码，字符和字节不是一一对应）。为了保证seek后的读取内容准确，它会直接清空当前的字节缓冲区，然后从磁盘重新读取目标位置开始的字节块，再解码成文本。

这就导致了代码里的恶性循环：每次seek都会触发一次磁盘读取，哪怕内容已经在之前的缓冲区里了，最终产生远超文件大小的IO量。

解决思路 #

如果你的需求是复用刚读取的行内容，完全不需要用seek，直接复用变量l1即可：

input("Press Enter to start...")
with open('file.txt', 'r', 50 * 1024 * 1024, 'utf-8', newline='\n') as file:
    while True:
        l1 = file.readline()
        if not l1:
            break
        l2 = l1  # 直接复用已读取的内容
input("Press Enter to exit...")

如果确实需要通过seek来定位读取，考虑使用二进制模式（'rb'）打开文件，自己处理解码。此时tell()和seek()操作的是底层字节偏移，缓冲区可以正常复用，但需要手动处理换行符和编码转换。

内容的提问来源于stack exchange，提问作者T3rm1