如何优化Selenium中JavaScript注入的内存占用并实现视频流元数据的持续高效捕获？

你的问题核心在于频繁轮询脚本导致的通信开销和浏览器端缓存元数据引发的内存累积，结合Selenium的特性，我推荐两种优化方案，从根源解决内存泄漏和性能问题：

方案一：用Selenium 4+的CDP绑定实现实时数据推送（推荐） #

Selenium 4及以上版本支持Chrome DevTools Protocol（CDP）的addBinding功能，能直接把Python的回调函数暴露给浏览器的JavaScript上下文。这样捕获到元数据时可以实时推送给Python，无需在浏览器端缓存数据，彻底消除内存累积问题，同时避免频繁的脚本执行开销。

实现代码 #

from selenium import webdriver
import time

# 定义Python端的元数据处理函数
def process_metadata(metadata):
    # 这里可以替换为你的业务逻辑（比如推送到队列/数据库）
    print("收到元数据:", metadata)

driver = webdriver.Chrome()

# 1. 把Python函数绑定到浏览器的window对象（命名为sendToPython）
driver.execute_cdp_cmd("Runtime.addBinding", {"name": "sendToPython"})
# 2. 为绑定的函数添加事件监听，接收JS传递的数据
driver.add_event_listener("sendToPython", process_metadata)

# 3. 注入元数据捕获钩子，捕获后直接调用Python绑定的函数
driver.execute_script("""
  // 保存原始的元数据解析函数
  const originalParse = metaDataParser.parse;
  // 替换解析函数，实时推送元数据到Python
  metaDataParser.parse = function(msg) {
    const result = originalParse(msg);
    // 仅当有有效数据时推送，避免空值
    if (result && Object.keys(result).length > 0) {
      window.sendToPython(result);
    }
    return result;
  };
""")

# 保持浏览器持续运行（可根据业务逻辑调整，比如监听页面关闭事件）
try:
    while True:
        time.sleep(3600)  # 挂起主线程，避免无意义的循环占用
except KeyboardInterrupt:
    print("停止捕获，关闭浏览器")
    driver.quit()

方案优势 #

• 零内存累积：浏览器端不缓存任何元数据，捕获一个推送一个，GC能及时回收临时字符串。
• 低通信开销：无需轮询调用execute_script，仅在有数据时触发通信。
• 低延迟：元数据实时传递到Python，无需等待轮询周期。

方案二：优化现有轮询逻辑（兼容旧版Selenium） #

如果无法升级到Selenium 4，可通过以下优化减少内存泄漏和性能损耗：

关键优化点 #

1. 减少脚本执行开销：复用已定义的JavaScript函数，避免每次轮询重新解析脚本。
2. 给浏览器GC留时间：轮询时添加合理延迟，避免阻塞浏览器主线程。
3. 彻底清理浏览器端数据：替换数组而非清空，确保旧数据被GC回收。

实现代码 #

from selenium import webdriver
import time

driver = webdriver.Chrome()

# 1. 一次性注入捕获逻辑和数据获取函数
driver.execute_script("""
  // 初始化元数据缓存（仅创建一次）
  let metadataBuffer = [];
  // 保存原始解析函数
  const originalParse = metaDataParser.parse;
  
  // 替换解析函数，缓存元数据
  metaDataParser.parse = function(msg) {
    const result = originalParse(msg);
    if (result) {
      metadataBuffer.push(result);
    }
    return result;
  };
  
  // 定义全局函数，用于获取并清空缓存
  window.getAndClearMetadata = function() {
    // 缓存当前数据后，直接替换为新数组（确保旧数组无引用，被GC回收）
    const data = metadataBuffer;
    metadataBuffer = [];
    return data;
  };
""")

# 2. 优化轮询逻辑，添加延迟
try:
    while True:
        # 调用已定义的全局函数，而非每次编写新脚本
        captured_data = driver.execute_script("return window.getAndClearMetadata();")
        if captured_data:
            print("收到元数据:", captured_data)
            # 这里可添加你的数据处理逻辑
        # 给浏览器留时间处理GC和页面任务（根据元数据频率调整，比如0.1-1秒）
        time.sleep(0.5)
except KeyboardInterrupt:
    driver.quit()

额外注意事项 #

• 避免无延迟轮询：你的原代码中while True没有任何延迟，会导致Python疯狂发送脚本执行请求，浏览器主线程被完全阻塞，GC根本无法运行，这是内存暴涨的核心原因之一。
• 检查隐式引用：用浏览器DevTools的Memory tab拍摄内存快照，排查是否有其他代码持有元数据的隐式引用（比如全局变量、事件监听器）。
• 升级驱动版本：确保ChromeDriver和Chrome浏览器版本匹配，旧版本的Selenium/驱动可能存在已知的内存泄漏bug。

内容来源于stack exchange