如何实现持续收集Console与HAR日志并按限制本地存储（可分发）

实现思路 #

• 核心逻辑：依托浏览器自动化工具对接Chrome DevTools Protocol（CDP），实时捕获Console输出与网络请求HAR数据
• 分片存储：实时监控日志文件体积，达到预设阈值（如10MB）时自动切换新文件写入
• 客户端分发：将工具打包为独立可执行文件，无需依赖Python环境即可在客户端运行

技术选型对比 #

Playwright（优先推荐） #

• 原生支持CDP，API设计简洁，内置HAR持续捕获能力，无需额外依赖
• 支持无头/有头模式切换，资源占用可控，长期运行稳定性优于直接开启DevTools
• 跨浏览器兼容性好，后续扩展支持其他浏览器成本低

Selenium #

• 需依赖第三方库或手动调用CDP实现HAR捕获，代码复杂度高
• 对CDP的封装不如Playwright完善，实时日志捕获的灵活性较差

核心功能实现步骤 #

1. 实时日志捕获 #

• Console日志：通过Playwright的page.on("console")事件监听，捕获日志级别、内容及堆栈信息，可按级别过滤（如仅保留error/warn）
• HAR日志：使用Playwright的context.start_tracing()或配置record_har(mode="append")，实现网络请求的持续记录，避免一次性生成超大HAR文件

2. 分片存储实现 #

• 初始化日志文件，设置大小阈值（如10 * 1024 * 1024字节）
• 每次写入日志前，通过os.path.getsize()检查当前文件体积，超过阈值则关闭当前文件，以时间戳+序号命名新文件（如console_20240520_001.log）
• HAR文件可采用追加模式写入，或按分片拆分后合并（注意HAR的JSON格式规范，需保证每个分片是合法的JSON片段或最终合并为完整HAR结构）

3. 客户端分发 #

• 使用pyinstaller打包Python脚本，添加--onefile参数生成单可执行文件
• 打包前执行playwright install chromium，并通过--add-data参数将浏览器二进制文件嵌入包中，避免客户端手动安装依赖
• 可添加简单的命令行参数（如--threshold设置文件大小、--output指定存储路径）提升工具易用性

入门学习指引 #

• 先掌握Playwright基础：学习浏览器启动、页面事件监听、网络请求捕获的核心API
• 深入CDP核心域：重点研究Console、Network域的API文档，理解日志与HAR数据的结构
• 强化文件操作能力：熟悉Python的os、json模块，实现文件监控、分片写入与格式维护

常见问题修复 #

• ChatGPT生成代码报错：多因API版本不兼容（如Playwright的record_har参数变更）或事件注册时机错误，需核对官方文档调整参数，确保日志捕获事件在页面加载前注册
• 浏览器崩溃：采用无头模式（headless=True）运行，关闭不必要的DevTools界面，减少内存占用
• 日志丢失：确保网络请求监听覆盖所有页面跳转，使用context级别的事件监听而非单page级别

内容的提问来源于stack exchange，提问作者Mark Anthony Manuel