EC2用boto3上传CSV到S3为0字节,是否需关闭CSV文件
问题根因定位
未主动关闭CSV文件是S3端出现0字节文件的直接诱因
- 操作系统对文件写入操作默认做了缓存优化:程序往文件里写的内容不会立刻写入磁盘,会先暂存在内存的缓存区中。
- 只有触发以下场景之一,暂存的内容才会真正落盘:主动调用文件对象的
close()方法、手动执行flush()配合os.fsync()强制刷盘、进程完全退出时由操作系统统一回收文件句柄。 - 你在EC2本地看到CSV文件内容完整,本质是读取操作直接命中了内存缓存的内容,不是磁盘上的真实文件状态。因为你把
close()调用注释掉了,程序运行期间写入的CSV内容一直卡在内存缓存里,根本没写到磁盘实体上。等boto3执行上传读取磁盘文件时,读到的自然是磁盘上的空文件,最终传到S3的就是0字节对象。 - 对当前的写入流程来说,主动关闭文件是让内容落盘的必要步骤,缺失这一步必然会出现写入内容丢失的问题,和文件本身是CSV格式没有关系。
boto3 完全支持当前方式上传CSV文件
- 同批次其他非CSV文件上传完全正常的表现,已经证明boto3的上传链路没有任何问题。
- 只要本地文件的内容已经完整写入磁盘,不管是CSV、文本还是二进制格式,boto3的所有上传接口都能正常处理,不存在仅不支持CSV上传的逻辑。
可落地的修正方案
- 最稳妥的写法是用Python的上下文管理器(
with语法块)操作CSV文件,代码块执行完成后会自动触发文件关闭、缓存刷盘流程,从根源上避免漏关文件的问题:import csv import boto3 s3_client = boto3.client("s3") # 退出with块时文件自动关闭、内容全量落盘 with open("generated_business.csv", "w", newline="") as f: writer = csv.writer(f) writer.writerows(your_business_dataset) # 此时再触发上传,即可读到完整的本地文件 s3_client.upload_file("generated_business.csv", "your-s3-bucket", "upload/path/generated_business.csv") - 如果保留手动打开文件的写法,必须在所有CSV写入动作完成、上传流程启动之前,恢复被注释的
close()调用,不能让文件句柄一直处于挂起状态。 - 不要在文件还处于可写入打开状态时就启动上传动作,哪怕临时在本地看到文件有内容,也大概率是未刷盘的内存缓存假象。
内容的提问来源于stack exchange,提问作者akshay acharya
相关产品推荐
相关产品推荐

