如何用Selenium或其他工具记录/抓取WebSocket动态更新的HTML？

Selenium能不能做到？ #

能，但得配合监听逻辑实现：

• 用Selenium的execute_script注入JS代码，直接监听WebSocket的消息推送事件，一旦有新内容更新页面DOM，立刻触发抓取动作。
• 也可以定时检查目标DOM元素的内容变化，对比前后版本，发现差异就记录当前页面的完整内容。
• 缺点是Selenium运行起来资源占用较高，更适合小规模的实时抓取场景。

其他开源工具推荐 #

• Playwright：比Selenium轻量化，支持全浏览器模拟，自带便捷的网络监听API，能直接捕获WebSocket消息，不用额外写注入代码，既能拿原始推送数据，也能解析更新后的页面DOM。
• Pyppeteer：Python版的Puppeteer，基于Chrome DevTools协议，可以监听所有网络请求（包括WebSocket），直接获取推送的payload，同时也能获取更新后的页面内容，适合Python开发者。
• websocket-client：如果不需要渲染整个页面，只想直接对接WebSocket接口，用这个Python库就行。先分析网页的WebSocket连接地址和消息格式，直接建立连接接收推送数据，再解析出需要的内容，资源占用极低。
• Scrapy + scrapy-websocket：Scrapy的扩展插件，能在爬虫里集成WebSocket监听，结合Scrapy的框架优势，适合大规模抓取或者需要和其他爬虫逻辑结合的场景。

内容的提问来源于stack exchange，提问作者heyzude