Python读JSON文件时为何用生成器推导式而非列表推导式?
相关技术疑问解答
为什么选用生成器推导式而非列表推导式
核心出发点是减少冗余内存开销:
- 生成器推导式是惰性执行的,每迭代到文件的某一行才会对当前行做
strip()清洗操作,不会一次性把全量清洗后的行文本全部加载到内存。如果替换成列表推导式,会直接把所有清洗完成的行文本以列表形式存在内存中,对于大体积的菜谱数据文件来说,这部分内存开销是完全没有必要的冗余占用。 str.join()方法本身不要求传入的可迭代对象必须是列表,它的内部逻辑是逐次迭代可迭代对象的元素完成字符串拼接,不管传入的是生成器还是列表,最终拼接得到的字符串结果没有任何差异。既然拼接过程不需要提前把所有行文本存成列表,自然没必要硬用列表类结构——生成器在完成一轮拼接流程后就会被直接回收,不会留下占内存的中间列表对象。- 在这个场景里,清洗后的行文本只需要一次性传入拼接方法生成最终的JSON数组结构,后续既不需要随机索引某一行的内容,也不需要多次遍历这批行文本,完全用不到列表支持随机访问、多次迭代的特性,生成器的能力已经完全满足需求。
能否替换为列表推导式实现同等逻辑
完全可以实现无差别的输出效果。
只需要把原代码中生成器推导式的圆括号换成方括号,改成data = [line.strip() for line in f],其余代码不需要做任何调整,最终拼接得到的JSON字符串、pandas读取生成的DataFrame,和原代码的运行结果没有任何区别。
二者的实际差异仅体现在内存占用层面:小体积文件下,这部分内存差异几乎感知不到,换成列表推导式书写完全没有问题;只有在处理超大体积文件时,生成器低内存占用的优势才会明显体现出来。
内容的提问来源于stack exchange,提问作者jgg
相关产品推荐
相关产品推荐

