为什么Python循环内调用gc.collect()无效，循环外调用垃圾回收可正常生效？

• 循环作用域的引用残留
  Python的for循环不会在单次迭代结束后自动清空本次迭代产生的所有临时变量引用，循环变量、data_analysis_function执行过程中泄漏到外层作用域的大对象，在循环运行期间始终属于存活对象，引用计数不为0，gc无法回收这类仍有有效引用的对象。当你终止循环、跳出循环块后，整个循环作用域被销毁，所有该作用域下的临时变量引用都会被自动解除，此时调用gc就能正常回收这些无主对象。
  如果代码运行在Jupyter、IPython等交互式环境中，环境默认会保存所有代码块的返回值到Out列表中，每次迭代data_analysis_function返回的大对象都会被Out列表持有引用，循环运行期间这些引用不会释放，只有循环结束后对应作用域销毁，引用才会解除。
• C扩展内存池的特性
  你用到的numpy、Pandas均基于C扩展实现，这类库会自行管理内存池来降低频繁申请释放内存的开销：当Python层面的DataFrame/ndarray对象被回收时，对应的内存并不会立刻还给操作系统，而是放回扩展自身的内存池留作后续复用，此时从操作系统层面看内存占用并不会下降，看起来就像gc没有生效。当循环完全结束后，内存池会触发闲置内存清理逻辑，将未使用的内存还给操作系统，此时就能观察到内存占用大幅下降。
• 循环引用的回收限制
  如果分析逻辑中产生了带有__del__方法的对象的循环引用，Python的垃圾回收器会将这类对象标记为不可回收，会一直存放在gc的不可回收队列中直到对应作用域完全销毁。循环运行期间这些循环引用对象始终处于当前作用域，无法被回收，循环结束作用域销毁后，这些对象才会被处理。

• 将单次迭代的逻辑封装到独立函数中：函数执行结束后会自动销毁内部作用域的所有变量引用，避免大对象泄漏到外层循环作用域，示例如下：

import gc

def process_single_dir(directory):
    # 所有分析逻辑都放在该函数内部
    data_analysis_function(directory)

for directory in list_of_directories:
    process_single_dir(directory)
    gc.collect()

• 显式解除大对象引用：如果确定某个大对象后续不会再使用，手动赋值为None触发引用计数清零，再调用gc：

for directory in list_of_directories:
    res = data_analysis_function(directory)
    # 用完后手动解除引用
    res = None
    gc.collect()

• 清理不必要的缓存：如果用到了Pandas、numpy的缓存特性，在不需要的时候手动清空缓存，避免缓存累积占用内存。

内容的提问来源于stack exchange，提问作者David Ross