Python网页爬虫获取特定class返回空列表问题求助

首先明确：你看到的== $0是浏览器开发者工具的标记，用来标识当前选中的元素，和网页实际HTML内容无关，不是导致问题的原因。下面是具体的排查和解决方向：

1. 先确认请求返回的HTML中是否存在目标元素 #

requests获取的是服务器直接返回的原始HTML，和浏览器渲染后的内容可能存在差异。先打印返回内容，验证目标区块是否存在：

print(r.text)

如果输出里找不到<div class="prdt Product">，说明要么页面是通过JavaScript动态加载内容，要么请求被反爬机制拦截。

2. 调整class选择器的写法 #

BeautifulSoup处理多类名元素时，两种写法都有效，可以尝试换一种避免解析歧义：

• 原写法：class_='prdt Product'
• 替代写法：class_=['prdt', 'Product']

修改后的代码片段：

productlist = soup.find_all('div', class_=['prdt', 'Product'])

3. 处理JavaScript动态渲染的内容 #

如果目标元素是通过AJAX、滚动加载等方式动态生成的，requests无法获取渲染后的内容，需要用浏览器自动化工具模拟加载：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get('https://www.the_first_page_of_a_brand.html')
soup = BeautifulSoup(driver.page_source, 'lxml')
productlist = soup.find_all('div', class_=['prdt', 'Product'])
print(productlist)
driver.quit()

4. 完善请求头规避反爬 #

你使用的User-Agent版本较旧，容易被识别为爬虫。更新为最新版本的Chrome User-Agent，同时添加Referer字段模拟正常访问：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Referer': 'https://www.list_of_brands.php'
}
r = requests.get('https://www.the_first_page_of_a_brand.html', headers=headers)

5. 更换HTML解析器 #

部分情况下lxml解析器对特殊HTML结构处理存在问题，换成Python内置的html.parser尝试：

soup = BeautifulSoup(r.content, 'html.parser')

内容的提问来源于stack exchange，提问作者Troy McLure