网页抓取时如何定位任意网站的正确div、class、span等HTML标签？

先定位你当前Priceline代码返回空的原因 #

你写的代码跑不出结果，本质是踩了三个新手常遇到的坑：

• 循环变量引用错误：循环块内写了d.find(...)，但前面定义的循环迭代变量是container，根本没有名为d的变量，要么直接触发代码报错，就算绕开报错逻辑也完全找错了目标元素。
• 选错了选择器锚点：你抄的Box-sc-8h3cds-0.Flex-sc-1ydst80-0.iNmVhl这类类名，是前端工程构建时自动生成的压缩样式类，类名后缀的随机字符串（比如iNmVhl）会在每次网站迭代、发版时随机变化，拿这类易变的类名当选择器，匹配为空是常态。
• 没区分页面渲染逻辑：Priceline是典型的前端单页应用（SPA），直接用requests.get拿到的HTML只是初始加载的空壳骨架，你要的酒店列表、价格等数据都是页面加载完成后通过JS异步请求渲染出来的，原生返回的DOM里根本不存在这些节点，自然找得到空。

适配任意网站的标签识别通用方法 #

不需要依赖特定站点的教程找选择器，练熟这几个固定步骤，不管面对什么网站都能快速定位要抓取的元素：

• 优先找语义固定的锚点，别硬抄动态生成的样式类
  打开浏览器开发者工具（F12），用左上角的元素选择箭头，点中你要抓取的目标内容，观察它所在节点的属性：优先选data-testid、data-*自定义属性、aria-label，或是带明确语义的静态类名片段（比如包含hotel-name、price、summary这类有实际业务含义的字符串），绝对不要把带随机哈希的完整压缩类名全抄进选择器。写选择器时可以用模糊匹配，只要匹配类名里的固定语义片段，就不会因为随机哈希后缀变化找不到元素。
• 先验证数据源的可用性
  把requests返回的页面内容存成本地html文件，用浏览器打开，如果打开后没有你要抓取的内容，就说明是动态渲染的站点，这时候不要硬磕BeautifulSoup找DOM节点。可以换成能模拟真实浏览器加载流程的工具（比如Playwright）获取完整渲染后的DOM，或是直接切到Network面板，筛选XHR异步请求，找哪个接口返回的JSON里直接包含你要的结构化数据——直接抓接口的稳定性比爬HTML节点高几个量级。
• 跳出固定站点教程的学习误区
  你之前看的亚马逊、Netflix、IMDb这类站点的专属教程，本质是作者对着教程发布当天的网站结构抄的现成选择器，既没有传递找元素的通用逻辑，等过几个月网站改版后代码直接就失效，自然换个站点就跑不通。

日常练习方向 #

不用攒一堆“10分钟爬完某站”的教程收藏，平时刷网页的时候就可以练手：随便打开一个有列表内容的网页，试着1分钟内找到要抓的内容对应的DOM节点、或是返回数据的异步接口，练的次数多了，根本不需要额外找教程就能适配任意网站的抓取需求。

内容的提问来源于stack exchange，提问作者Saswati