Wget与Python请求获取网页结果差异及页面崩溃原因排查

一、wget与Python脚本抓取结果差异的原因 #

• 请求标识与反爬策略：网站会根据请求的User-Agent等头信息识别来源。wget默认的UA可能被判定为合法请求，返回包含预渲染交易数据（即<div class="deal-data">）的完整页面；而你的Python脚本（不管是urllib还是selenium）可能使用了默认UA或带有selenium特征的标识（比如带webdriver标记的UA），触发反爬机制，返回的页面未加载交易数据。
• 页面加载时机差异：如果selenium脚本未等待页面完全加载就保存HTML，交易数据可能是AJAX异步加载的，此时DOM还未渲染出<div class="deal-data">节点；而wget抓取的是服务器直出的静态HTML，已包含预生成的交易数据。
• 请求能力差异：urllib是纯HTTP请求，无法执行JS，若交易数据是前端JS动态渲染的，自然抓不到；但wget能抓到，说明网站存在服务器端渲染版本，仅对特定请求返回。

二、本地打开抓取的HTML页面崩溃的原因 #

• 资源路径失效：抓取的HTML中，CSS、JS、图片等资源用的是相对路径（比如/static/js/main.js），本地打开时浏览器找不到这些资源，导致样式错乱、JS无法执行，最终触发渲染崩溃。
• JS依赖环境缺失：页面JS可能依赖网站后端API、Cookie、全局变量或特定域名资源，本地打开时无这些环境，JS执行报错后导致页面崩溃。
• 浏览器安全与渲染兼容问题：网站前端代码针对在线环境优化，本地打开时，浏览器的安全策略（如CORS限制）或渲染引擎差异会导致部分JS逻辑执行失败，引发页面崩溃。

内容的提问来源于stack exchange，提问作者Pond-nj