亚马逊商品详情页畅销排名爬取问题求助

你的问题出在选择器太宽泛，只抓取到了单个a-list-item元素（刚好是品类名称），而排名信息在同一区域的多个列表项里。以下是修正后的方案：

首先必须添加请求头模拟浏览器访问，否则亚马逊会直接拦截请求：

import requests
from bs4 import BeautifulSoup

# 替换成你自己浏览器的User-Agent，可通过F12开发者工具查看
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.9"
}

URL = "https://www.amazon.com/TRESemm%C3%A9-Botanique-Shampoo-Nourish-Replenish/dp/B0199WNJE8/ref=sxin_14_pa_sp_search_thematic_sspa?content-id=amzn1.sym.a15c61b7-4b93-404d-bb70-88600dfb718d%3Aamzn1.sym.a15c61b7-4b93-404d-bb70-88600dfb718d&crid=2HG5WSUDCJBMZ&cv_ct_cx=hair%2Btresemme&keywords=hair%2Btresemme&pd_rd_i=B0199WNJE8&pd_rd_r=28d72361-7f35-4b1a-be43-98e7103da70c&pd_rd_w=6UL4P&pd_rd_wg=JtUqB&pf_rd_p=a15c61b7-4b93-404d-bb70-88600dfb718d&pf_rd_r=DFPZNAG391M5JS55R6HP&qid=1660432925&sprefix=hair%2Btresemme%2Caps%2C116&sr=1-3-a73d1c8c-2fd2-4f19-aa41-2df022bcb241-spons&smid=A3DEFW12560V8M&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUExQlM3VFpGRVM5Tk8wJmVuY3J5cHRlZElkPUEwNjE5MjQwM01JV0FNN1pOMlRHSSZlbmNyeXB0ZWRBZElkPUEwNTA1MDQyMlQ5RjhRQUxIWEdaUiZ3aWRnZXROYW1lPXNwX3NlYXJjaF90aGVtYXRpYyZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU&th=1"

# 发送请求并解析页面
webpage = requests.get(URL, headers=HEADERS)
soup = BeautifulSoup(webpage.content, "lxml")

# 精准定位畅销排名所在的详情区域
rank_section = soup.find("div", id="detailBulletsWrapper_feature_div")

if rank_section:
    # 获取区域内所有列表项
    rank_items = rank_section.find_all("span", class_="a-list-item")
    
    # 筛选并提取排名信息
    for item in rank_items:
        text = item.text.strip()
        # 排名条目包含#和in关键词，以此过滤无关内容
        if "#" in text and "in" in text:
            print(text)
else:
    print("未找到畅销排名区域，请检查页面结构是否更新或请求头是否有效")

核心优化点： #

• 请求头配置：亚马逊会拦截无浏览器标识的请求，必须添加User-Agent模拟真实访问
• 精准区域定位：通过id="detailBulletsWrapper_feature_div"锁定排名所在的详情模块，避免抓取无关内容
• 内容筛选逻辑：利用排名文本的特征（包含#和in）过滤出有效排名条目

内容的提问来源于stack exchange，提问作者Mustard