Jupyter Notebook导入模块读取的文件是否存于内存？存在哪些低效问题？

问题解答 #

关于RAM存储与重复IO的问题 #

当你在Jupyter Notebook中第一次导入my_datasets模块时，Python会执行模块内的所有代码——也就是一次性把dataset1、dataset2、dataset3全部通过pd.read_csv()加载到RAM中，并且会将整个模块的内容缓存起来。之后无论你多少次调用my_datasets.dataset1或其他数据集，都不会再触发新的文件IO操作，直接读取RAM里缓存好的数据，确实能避免重复读取CSV文件。

该做法的其他低效问题 #

• 冗余加载浪费内存：只要导入模块，三个数据集会被全部加载，哪怕你当前只需要其中一个。如果数据集体积较大，会占用大量不必要的RAM资源，甚至可能导致内存不足。
• 缺乏加载灵活性：无法按需加载特定数据集，也没法给pd.read_csv()传递自定义参数（比如指定usecols只加载需要的列、设置dtypes减少内存占用、指定parse_dates处理日期等），只能固定加载完整的原始数据集。
• 数据更新后难以重新加载：如果源CSV文件内容更新了，你无法直接在Notebook中刷新数据——Python的模块缓存机制会让重复导入不生效，必须重启内核或者用importlib.reload()重新加载模块，操作繁琐。
• 预处理逻辑难以扩展：如果后续需要添加数据预处理步骤（比如缺失值填充、特征工程），直接写在模块里会导致每次导入都自动执行预处理，无法灵活选择是否预处理，或者切换不同的预处理方案。
• 内存无法主动释放：只要Notebook内核不关闭，三个数据集会一直占用RAM。即使你在Notebook里删除了引用，模块本身存储的数据集实例依然存在，没法彻底释放这部分内存。

内容的提问来源于stack exchange，提问作者user8491363