boto3下载S3文件到BytesIO读取为空 seek(0)原理咨询

请查看底部更新内容，本问题有小幅调整

这个空字节问题本质是类文件对象的指针机制导致的，和boto3本身的下载逻辑无关。
不管是内存里的io.BytesIO对象，还是存在磁盘上的普通文件，所有符合Python文件接口规范的类文件对象，都会维护一个位置指针，专门标记下一次读写操作从哪个偏移位置开始：

• 刚初始化空的BytesIO对象时，指针默认在偏移量0的位置，也就是整个字节流的最开头
• 调用download_fileobj时，boto3会从当前指针位置开始，把S3拉取到的文件内容逐块写入data对象，每写入N个字节，指针就会自动向后移动N位
• 整个文件下载写入完成后，指针刚好停在所有写入内容的最末尾
• 这时候直接调用data.read()，默认是从当前指针位置往后读内容，指针后面没有写入任何数据，自然只会返回空的b''

seek()是类文件对象的标准操作方法，传入参数0的作用就是把位置指针直接挪回字节流最开头的位置（偏移量为0处）。
执行完这行再调用read()，就会从流的起始位置开始读取所有已经写入的内容，自然就能拿到完整的wav文件数据。

import boto3
import io

client = boto3.client('s3')

data = io.BytesIO()
client.download_fileobj(Bucket='mybucket', Key='myfile.wav', Fileobj=data)
# 重置指针到流起始位置
data.seek(0)
print(data.read())

补充：这个指针逻辑是通用的，不是boto3特有的。比如本地打开一个文件用写模式写完内容，不关闭文件直接调用read()，一样会读到空内容，底层原因完全相同。如果后续需要多次读取这个内存流的内容，每次读完后指针都会回到末尾，重新读之前再调用一次seek(0)即可。

内容的提问来源于stack exchange，提问作者piccolo