使用BeautifulSoup爬取Etsy图片时遇列表元素处理错误求解决方案

错误原因 #

这个报错的核心是你把BeautifulSoup返回的元素列表当成了单个元素处理：soup.select()方法返回的是ResultSet（本质是Python列表），你直接对这个列表调用.find_all()方法，但列表本身没有该方法，因此触发错误。

修复方案及优化代码 #

关键修改点 #

1. 遍历select()返回的列表元素，逐个处理每个匹配到的节点
2. 补全相对商品链接，避免请求无效地址
3. 对商品链接去重，减少重复请求
4. 添加请求延迟，降低被反爬拦截的概率
5. 修复Windows路径转义问题，避免ChromeDriver启动报错

修改后的完整代码 #

from selenium import webdriver
from bs4 import BeautifulSoup
from time import sleep
import pandas as pd
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.3"
}

url = 'https://www.etsy.com/search/handmade?q=marokaanse+azilal+vloerkleden&explicit=1&item_type=handmade&ship_to=NL&page=1&ref=pagination'

# 用原始字符串避免Windows路径转义问题
driver = webdriver.Chrome(r"C:\Program Files (x86)\chromedriver.exe")
driver.get(url)

productlinks=[]
soup = BeautifulSoup(driver.page_source, "html.parser")
tra = soup.select('div.js-merch-stash-check-listing')
for links in tra:
    for link in links.find_all('a',href=True):
        comp=link['href']
        # 补全相对链接+去重
        if comp.startswith('/'):
            comp = f"https://www.etsy.com{comp}"
        if comp not in productlinks:
            productlinks.append(comp)

# 爬取完列表页后关闭浏览器释放资源
driver.quit()
        
for link in productlinks:
    # 添加2秒延迟，避免频繁请求触发反爬
    sleep(2)
    r = requests.get(link, headers=headers)
    soup = BeautifulSoup(r.content, 'html.parser')
    # 遍历select返回的每个ul元素，再内部查找img标签
    images = soup.select('div.carousel-pagination-item-v2 + div ul')
    for ul in images:
        for image in ul.find_all('img', src=True):
            fiv = image['src']
            print(fiv)

内容的提问来源于stack exchange，提问作者developer