求助：Bs4解析网站HTML与实际页面不符的原因排查

你的两个猜测完全正确，实际原因就是这两点共同作用的结果：

• Bs4无法处理动态JS内容：Bs4是静态HTML解析工具，只能抓取服务器直接返回的初始HTML代码，不会执行页面中的JavaScript。你在浏览器里看到的soldout_icon这类标签，是页面加载完成后由JS根据商品状态动态渲染生成的，所以Bs4根本抓不到这些动态生成的元素。
• 未模拟浏览器环境导致内容缺失：部分网站会校验请求的来源，普通HTTP请求（比如用requests库发送的）没有模拟真实浏览器的环境（比如正确的User-Agent、浏览器运行时），服务器会返回简化版的初始HTML，甚至拦截请求，这就导致Bs4解析出的内容和浏览器检查到的完全不同。

解决方向 #

• 使用支持JS渲染的工具：比如Selenium搭配无头浏览器（Chrome Headless/Firefox Headless），或者Playwright、Pyppeteer，这些工具会模拟真实浏览器加载页面，执行完所有JS后再获取完整的HTML。
• 直接抓取API接口：很多动态内容是通过AJAX请求从后端接口获取的，找到对应的接口直接请求数据，比解析HTML更高效准确。

内容的提问来源于stack exchange，提问作者balloonpandatree