AWS Lambda写入CSV及上传S3问题求助：只读文件系统与空文件

先给你梳理下问题的核心原因，以及对应的解决方案：

为什么会出现空文件？ #

Lambda环境中，文件操作的缓冲区不会像本地环境那样自动及时刷新到磁盘。如果你没有正确关闭文件就执行S3上传，此时文件内容还停留在内存缓冲区里，并没有真正写入/tmp目录的磁盘文件中，所以S3会上传一个空文件。

解决方案：用上下文管理器确保文件正确关闭 #

最稳妥的方式是使用Python的with语句（上下文管理器）来处理文件操作，它会在代码块执行完毕后自动关闭文件，强制将缓冲区内容写入磁盘。修改后的代码如下：

import csv
import boto3

# 初始化S3客户端
s3_client = boto3.client('s3')
output_filename = 'abc.csv'
tmp_file_path = f'/tmp/{output_filename}'

# 使用with语句打开文件，自动处理关闭和缓冲区刷新
with open(tmp_file_path, 'wb+') as csv_file:
    csv_writer = csv.writer(csv_file)
    # 写入表头
    csv_writer.writerow(['botName','botVersion','utteranceString','count','distinctUsers','firstUtteredDate','lastUtteredDate','status'])
    # （可选）如果有大量数据写入，可手动调用flush确保立即写入磁盘
    csv_file.flush()

# 上传到S3存储桶
s3_client.upload_file(tmp_file_path, 'codepipelinedev', k)

额外排查点 #

• 确认变量k是正确的S3对象键（比如output_filename或者自定义的路径），避免因为键名错误导致后续混淆。
• 可以在上传前添加代码检查文件大小，验证文件是否真的写入成功：

  import os
  if os.path.getsize(tmp_file_path) == 0:
      raise Exception("CSV文件为空，未成功写入内容")
  

补充：关于Lambda的文件系统 #

你已经解决了只读文件系统的问题，这里再提一句：Lambda的执行环境中，只有/tmp目录是可写的，其他目录都是只读状态，而且这个目录的存储空间默认是512MB（可配置最大到10GB），适合临时存储文件。

内容的提问来源于stack exchange，提问作者Kishan