Python：如何将SpooledTemporaryFile转gzip，兼顾内存与磁盘场景？

你的当前代码能实现基本功能，但要适配内存/磁盘两种存储场景，还有几个关键细节需要补充优化：

• 优先用二进制模式，规避编码和换行符问题
  你用的文本模式(wt+)在跨系统环境下，会自动转换换行符（比如Windows下的\r\n），可能导致压缩后的内容和原文件不一致。改用二进制模式(wb+)更通用，既能避免编码转换开销，也能确保内存/磁盘场景下的内容一致性：

  import tempfile
  import gzip
  
  words = ["one", "two", "three", "four", "five", "six", "seven", "eight"]
  
  with tempfile.SpooledTemporaryFile(mode='wb+') as tmp_file:
      # 将文本转为字节写入临时文件
      tmp_file.write("\n".join(words).encode('utf-8'))
      tmp_file.seek(0)
      with gzip.open(filename="test2.gz", mode="wb", compresslevel=7) as giz:
          # 分块读取写入，适配大文件
          chunk_size = 1024 * 1024  # 按1MB分块
          while chunk := tmp_file.read(chunk_size):
              giz.write(chunk)
  

• 分块读写，避免大文件内存溢出
  原代码用tmp_file.read()一次性读取全部内容，当临时文件切换到磁盘且文件体积很大时，会瞬间占用大量内存。分块读取的方式不管是内存临时文件还是磁盘文件，都能平稳处理，不会出现内存过载问题。

• 文本模式下必须显式指定编码
  如果坚持使用文本模式，一定要显式声明encoding参数，避免依赖系统默认编码导致跨环境乱码：

  with tempfile.SpooledTemporaryFile(mode='wt+', encoding='utf-8') as tmp_file:
      tmp_file.write("\n".join(words))
      tmp_file.seek(0)
      with gzip.open(filename="test2.gz", mode="wt", compresslevel=7, encoding='utf-8') as giz:
          # 按行分块读取，减少内存占用
          while line := tmp_file.readline():
              giz.write(line)
  

• 强制触发磁盘写入，验证兼容性
  可以通过max_size参数强制让小文件也写入磁盘，直接验证两种场景的兼容性：

  # 设置max_size=10，强制临时文件写入磁盘
  with tempfile.SpooledTemporaryFile(mode='wb+', max_size=10) as tmp_file:
      tmp_file.write("\n".join(words).encode('utf-8'))
      tmp_file.seek(0)
      # 后续压缩逻辑不变
  

内容的提问来源于stack exchange，提问作者РѕуVеtеrаn