为何soup.find_all("a", class_="title")返回空ResultSet？

问题原因 #

• 选择器匹配错误：你用soup.find_all("a","title")是找class为title的<a>标签，但目标页面里的产品名称标签class并不是title。实际查看页面结构，当前页面的产品名称<a>标签class为IRpwTa，所以原选择器找不到任何元素，返回空列表。
• 标签名混淆：soup.find_all("title")是查找HTML的<title>标签，这个标签属于网页头部的页面标题，并非产品名称的标签，所以只能拿到唯一的页面标题，而非多个产品名称。

修正方案 #

1. 确认正确的元素选择器：
   打开目标网页，按F12启动开发者工具，定位任意一个产品名称元素，查看它的标签和class属性。比如当前页面的产品名称对应<a class="IRpwTa">标签。
2. 使用正确选择器编写代码：
   替换原代码中的查找语句，用正确的class匹配：

from bs4 import BeautifulSoup as bs
import requests
import pandas as pd

url= "https://www.flipkart.com/health-personal-care-appliances/~cs-zmpfqx4vyj/pr?sid=zlw&collection-tab-name=Hair+Dryers&bu=SHOPSY&hpid=ykaudr-vM9cXBQ-KYvhUJap7_Hsxr70nj65vMAAFKlc%3D&ctx=eyJjYXJkQ29udGV4dCI6eyJhdHRyaWJ1dGVzIjp7InZhbHVlQ2FsbG91dCI6eyJtdWx0aVZhbHVlZEF0dHJpYnV0ZSI6eyJrZXkiOiJ2YWx1ZUNhbGxvdXQiLCJpbmZlcmVuY2VUeXBlIjoiVkFMVUVfQ0FMTE9VVCIsInZhbHVlcyI6WyJGcm9tIOKCuTQ5OSJdLCJ2YWx1ZVR5cGUiOiJNVUxUSV9WQUxVRUQifX0sImhlcm9QaWQiOnsic2luZ2xlVmFsdWVBdHRyaWJ1dGUiOnsia2V5IjoiaGVyb1BpZCIsImluZmVyZW5jZVR5cGUiOiJQSUQiLCJ2YWx1ZSI6IkhEUkVVR04zNFhaTUJQNk4iLCJ2YWx1ZVR5cGUiOiJTSU5HTEVfVkFMVUVEIn19LCJ0aXRsZSI6eyJtdWx0aVZhbHVlZEF0dHJpYnV0ZSI6eyJrZXkiOiJ0aXRsZSIsImluZmVyZW5jZVR5cGUiOiJUSVRMRSIsInZhbHVlcyI6WyJCZXN0IG9mIEhhaXIgRHJ5ZXJzIl0sInZhbHVlVHlwZSI6Ik1VTFRJX1ZBTFVFRCJ9fX19fQ%3D%3D&fm=neo%2Fmerchandising&iid=M_e8e2c26a-bc30-4b33-9b6c-10da733feccc_3.VXQGYLXW75FQ&ssid=kf3v0o2x740000001674365574944&otracker=hp_omu_Best%2Bof%2BElectronics_5_3.dealCard.OMU_VXQGYLXW75FQ_3&otracker1=hp_omu_PINNED_neo%2Fmerchandising_Best%2Bof%2BElectronics_NA_dealCard_cc_5_NA_view-all_3&cid=VXQGYLXW75FQ"
link = requests.get(url)
soup = bs(link.content, "html.parser")

# 用正确的class查找所有产品名称标签
product_titles = soup.find_all("a", class_="IRpwTa")
# 提取并打印产品名称文本
for title in product_titles:
    print(title.get_text(strip=True))

额外提示 #

• 电商网站页面结构可能随时调整，遇到选择器失效时，优先用开发者工具确认当前页面的元素属性。
• 如果后续遇到滚动加载等动态内容，可能需要使用selenium等工具模拟浏览器渲染页面。

内容的提问来源于stack exchange，提问作者Siva S