运行Python代码时如何避免系统内存与存储空间耗尽？

关于「代码存硬盘直接运行能否解决内存不足」的问题 #

这个方法完全不能解决你的问题。内存不足的原因是代码运行过程中生成的动态数据（也就是你提到的持续扩容的大型列表）占用了运行内存，和你的代码文件存储在硬盘还是内存里没有任何关系：哪怕代码从硬盘启动，运行过程中产生的所有变量、列表数据依然会加载到系统内存中，不会因为代码存储位置改变而减少内存占用。

低内存占用运行的可行方案 #

• 优先用惰性迭代替换全量列表存储
  如果你不需要在迭代结束后回溯所有历史列表元素，直接把生成列表的逻辑改成生成器即可：把原来函数里的return 大列表改成用yield逐次返回每次迭代的结果，生成器不会预存所有元素，仅在迭代到对应位置时才生成数据，内存占用可以降低90%以上。
  示例修改逻辑：

  # 原来的逻辑，会生成超大列表占内存
  def get_big_list():
      res = []
      for i in range(10000000):
          processed_data = i * 2
          res.append(processed_data)
      return res
  
  # 修改后的生成器逻辑，几乎不占额外内存
  def get_data_generator():
      for i in range(10000000):
          processed_data = i * 2
          yield processed_data
  

• 必须保留全量数据的话，逐次写入硬盘而非存在内存
  如果业务逻辑要求保留所有迭代结果，不要把数据存在列表里，每次迭代生成新数据时直接追加写入硬盘：可以用csv的追加模式写入，或者用轻量sqlite数据库存储，也可以分批次序列化到本地pkl文件，需要使用时再按批次读取处理，不要全量加载到内存。
• 优化必须保留的列表的内存占用
  如果确实需要在内存中保留列表，优先替换原生Python列表为更紧凑的存储结构：数值型数据可以用array.array或者numpy数组存储，同类型数据的内存占用仅为Python列表的1/3~1/5；如果是大量重复的字符串类数据，可以用pandas的Category类型存储，内存占用最高可以降到原来的1%。
• Spyder环境专属优化
  Spyder默认会将所有运行过的变量保留在工作区，迭代过程中不需要的临时变量可以及时用del 变量名删除，之后调用import gc; gc.collect()主动触发垃圾回收释放内存；运行大内存任务时可以临时关闭变量 inspector 的实时预览功能，避免额外占用内存。

内容的提问来源于stack exchange，提问作者Jo Bi