如何用Python抓取网页Inspect Element数据并解析所需内容？

1. 先验证请求到的原始HTML是否和浏览器一致 #

浏览器Inspect看到的是JS渲染后的最终DOM，而requests只能拿到服务器返回的原始HTML，很多动态加载的内容不会包含在内。先把请求到的内容存到本地对比：

import requests

url = "你的目标网页URL"
response = requests.get(url)
# 保存原始响应到本地文件，和浏览器Inspect的HTML对比
with open("raw_page.html", "w", encoding="utf-8") as f:
    f.write(response.text)

如果打开raw_page.html后找不到目标元素，说明内容是JS动态生成的，直接用requests拿不到，需要换工具。

2. 静态HTML下的元素定位方法 #

如果原始HTML里有目标元素，用BeautifulSoup的选择器精准定位：

• 通过ID定位：

  from bs4 import BeautifulSoup
  
  soup = BeautifulSoup(response.text, "html.parser")
  target = soup.find(id="target-element-id")
  # 提取文本或属性
  print(target.text)  # 拿元素文本
  print(target["href"])  # 拿元素的href属性（如果是链接）
  

• 通过类名定位（注意class是Python关键字，要用class_）：

  target = soup.find(class_="target-element-class")
  

• CSS选择器（更灵活，支持层级选择）：

  # 选择class为container下的第一个p标签
  target = soup.select_one(".container > p:first-child")
  # 选择所有class为item的元素
  targets = soup.select(".item")
  for item in targets:
      print(item.text)
  

3. 处理JS动态渲染的页面 #

如果原始HTML里没有目标元素，说明内容是JS加载的，用selenium模拟浏览器获取渲染后的DOM：

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup

# 初始化浏览器驱动（需要对应浏览器的驱动，比如Chrome的chromedriver）
driver = webdriver.Chrome()
driver.get("你的目标网页URL")
# 等待JS加载完成（隐式等待10秒）
driver.implicitly_wait(10)
# 获取渲染后的页面源码
page_source = driver.page_source
driver.quit()

# 用BeautifulSoup解析渲染后的源码
soup = BeautifulSoup(page_source, "html.parser")
# 定位目标元素
target = soup.find(id="dynamic-target-id")
print(target.text)

内容的提问来源于stack exchange，提问作者Ethan