使用Beautiful Soup爬取网页时，动态类名与 隐藏定价数据如何解决？

遇到这种反爬手段确实头疼，不过还是有不少可行的方法来应对，我分两部分给你拆解：

一、处理动态生成的类名 #

网站随机生成类名就是为了让你没法直接通过类名定位元素，这时候你得换个思路，找那些不会变的特征来定位：

• 利用相邻元素的关联：你给出的HTML里，价格元素前面有个显示$的div，这个文本内容大概率是固定的。你可以用XPath的兄弟节点定位，比如//div[text()='$']/following-sibling::div[1]，不管后面那个div的类名怎么变，只要它是$元素的下一个兄弟，就能精准找到。
• 依托稳定的父/祖先元素：如果这些价格元素嵌套在一个类名固定的容器里（比如<div class="product-price-wrapper">），就先定位这个父容器，再在里面找子元素。比如用CSS选择器：.product-price-wrapper > div:nth-child(2)，前提是这个父容器的类名不会变。
• 检查元素的其他属性：有些网站会给元素加data-*这类自定义属性（比如data-price-target），或者固定的style样式，这些都可以用来定位元素，比类名靠谱多了。

二、破解 代替数字的价格显示 #

这种情况一般是网站把真实价格藏起来了，用占位符显示，你得找到真实数据的存放位置：

• 优先找隐藏的属性：打开开发者工具的元素面板，仔细看价格元素或者它的父元素有没有data-price、aria-label这类属性，很多网站会把真实价格存在这里，比如<div data-price="199.99" class="qFwqmC hkVukg2 njGalW">&nbsp;</div>，直接取这个属性值就行，比解析文本简单多了。
• 扒页面里的JSON数据：很多电商网站会把产品的完整数据（包括价格）放在页面的<script>标签里，比如类似window.productData = {"price": 199.99, ...}的内容。你可以用爬虫提取这个script标签的内容，然后转成JSON直接拿价格，这是最省心的方法。
• 检查CSS伪元素：如果价格是通过CSS的:before/:after的content属性渲染的，你可以用Selenium这类工具获取元素的计算样式，拿到content里的真实价格。比如用Python的Selenium：

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("目标网址")
price_element = driver.find_element(By.XPATH, "//div[text()='$']/following-sibling::div[1]")
# 获取计算后的content样式
real_price = driver.execute_script('return window.getComputedStyle(arguments[0], ":before").content;', price_element)

• 应对字体映射（复杂情况）：如果是用自定义字体把 （或者其他特殊字符）映射成数字，那你需要下载网站的字体文件（一般在CSS里能找到字体URL），然后解析字体的glyph对应关系，把页面上的字符转成真实数字。这个方法比较繁琐，除非前面的方法都没用再考虑。

最后提醒一句：爬取数据前一定要遵守网站的robots.txt规则，控制爬取频率，避免触发反爬机制被封IP哦。

内容的提问来源于stack exchange，提问作者juju