无限滚动爬虫内存管理求助（Selenium+ChromeDriver）

我正在用Python Selenium开发针对stocktwits.com特定标的的无限滚动页面爬虫。随着内容动态加载，ChromeDriver的JavaScript堆内存持续增长，最终因内存不足崩溃。我尝试在滚动一定次数后用JavaScript移除旧DOM元素，但内存未有效释放，且无法通过重启或刷新驱动（会丢失滚动进度）解决。现咨询：

1. 移除DOM元素后内存未释放的原因？是否ChromeDriver保留了相关引用？
2. 能否在Selenium会话中强制垃圾回收或更激进地清理内存？
3. 有无无需重启驱动或刷新页面的可行方案？

已尝试的清理代码 #

def clear_old_posts(driver):
    removed_counts = driver.execute_script("""
        let removed = { articles: 0, ads: 0, images: 0, videos: 0, scripts: 0, canvas: 0 };

        let articles = document.querySelectorAll('.infinite-scroll-component > div[data-testid^="message-"]');
        let ads = document.querySelectorAll('.infinite-scroll-component .py-2');
        let images = document.querySelectorAll('img');
        let videos = document.querySelectorAll('video, iframe');
        let scripts = document.querySelectorAll('script');
        let canvasElements = document.querySelectorAll('canvas');


        for (let i = 0; i < articles.length; i++) {
            articles[i].remove();
            removed.articles++;
        }

        images.forEach(img => { img.remove(); removed.images++; });
        videos.forEach(video => { video.remove(); removed.videos++; });
        scripts.forEach(script => { script.remove(); removed.scripts++; });
        ads.forEach(ad => { ad.remove(); removed.ads++; });
        canvasElements.forEach(canvas => { canvas.remove(); removed.canvas++; });

        window.stop();
        if (window.gc) window.gc();  // Not available unless Chrome launched with --js-flags="--expose-gc"

        return removed;
    """)
    return removed_counts

1. 移除DOM元素后内存未释放的原因 #

内存未释放主要有以下几个核心原因：

• 残留引用未清除：页面自身的JavaScript代码可能通过事件监听器、闭包、全局变量缓存等方式，保留着对已移除DOM元素的引用。只要这些引用存在，浏览器垃圾回收器就不会回收对应内存。
• ChromeDriver内部缓存：ChromeDriver会维护元素定位、状态追踪等内部引用，即便DOM元素被移除，这些内部缓存的引用可能未及时清理，导致内存无法释放。
• 资源未彻底卸载：图片、视频等媒体资源，即便元素被移除，浏览器可能仍会缓存资源文件；iframe的独立上下文也可能残留内存占用，不会随元素移除立刻释放。
• 清理逻辑盲目性：你当前的代码会移除所有img、script元素，但部分元素是页面核心功能依赖的，移除后反而可能引发内存泄漏（比如脚本被移除但相关闭包仍存在），加剧内存问题。

2. 能否在Selenium会话中强制垃圾回收？ #

可以，有两种可行方式：

• 启用Chrome暴露GC开关：启动Chrome时添加--js-flags="--expose-gc"参数，即可在JS中调用window.gc()触发垃圾回收。启动驱动的示例代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--js-flags="--expose-gc"')
driver = webdriver.Chrome(options=options)

• 调用Chrome DevTools命令：通过execute_cdp_cmd执行DevTools的Memory.forceGarbageCollection命令，无需额外启动参数，清理效果更彻底：

driver.execute_cdp_cmd('Memory.forceGarbageCollection', {})

3. 无需重启驱动或刷新页面的可行方案 #

除优化内存回收外，还可通过以下方案缓解内存压力：

• 精准清理旧元素：不要盲目移除所有全局元素，只清理视口上方的旧帖子区域（比如记录滚动位置，只移除已滚动过的历史帖子），保留页面核心导航、功能区元素，避免误删引发的内存泄漏。
• 分批滚动+即时清理：每滚动10-20次就执行一次清理，降低单次内存占用峰值，避免内存持续累积。
• 禁用Chrome冗余功能：启动时添加以下参数减少内存消耗：
  • --disable-images：不需要爬取图片时直接禁用加载
  • --disable-plugins：禁用浏览器插件
  • --disable-extensions：禁用扩展程序
  • --incognito：使用无痕模式减少缓存占用
• 虚拟滚动模拟：不依赖页面原生无限滚动，手动模拟滚动到特定位置，加载新内容后立刻移除旧内容，同时记录最后一个帖子的ID作为滚动标记，确保后续能正确加载下一页，让DOM始终只保留少量内容，控制内存占用。
• 内存泄漏定位：通过DevTools协议抓取内存快照，定位具体泄漏点：

# 生成堆快照，可导出到本地分析
snapshot = driver.execute_cdp_cmd('HeapProfiler.takeHeapSnapshot', {})

内容的提问来源于stack exchange，提问作者mohammad jcm