You need to enable JavaScript to run this app. 如何使用Python结合BS4实现多站点RTX 3070显卡库存爬虫
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Python结合BS4实现多站点RTX 3070显卡库存爬虫

多站点RTX 3070库存爬虫适配实现方案

原有代码的核心错误点

  • requests.get() 仅支持传入单个URL字符串参数,不能直接接收整个URL列表,之前写法requests.get(urls) 会直接触发类型错误,必须遍历列表逐条发请求
  • 分支判断对象错误:循环中判断的目标应该是当前遍历到的单条URL,而非整个URL列表;原写法中else分支未给ticker变量赋值就直接引用,会触发未定义报错
  • 硬编码if-else分支的维护成本极高,随着站点数量增加,核心爬取流程会被分支逻辑完全挤占

可直接复用的多站点爬取框架

不需要写嵌套多层的if-else判断,把每个站点的解析规则抽成独立配置项,核心爬取流程通用复用,后续加新站点只要往配置列表补充规则即可:

import requests
from bs4 import BeautifulSoup
from csv import writer

# 站点配置表,后续加新站点直接往这里加条目即可
SITE_RULES = [
    {
        "site_tag": "Alternate",
        "target_url": "https://www.alternate.nl/Grafische-kaarten/RTX-3070",
        "product_list_selector": {"tag": "div", "attr": {"class_": "listRow"}},
        "custom_parse": lambda product: {
            "title": product.find(class_='name').get_text(strip=True),
            "product_url": f"alternate.nl{product.find('a')['href']}",
            "price": product.find(class_='price right right10').get_text(strip=True).replace("€ ","").replace(',-*',''),
            "stock_text": product.find(class_='stockStatusContainer complete').get_text(strip=True),
            "availability": "Not Available" if "Pre-order" in product.find(class_='stockStatusContainer complete').get_text() else "Available",
            "brand": product.find(class_='name').get_text(strip=True).split(' ', 1)[0]
        }
    },
    {
        "site_tag": "Coolblue",
        "target_url": "https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070",
        "product_list_selector": {"tag": "div", "attr": {"class_": "替换为Coolblue商品列表的实际类名"}},
        "custom_parse": lambda product: {
            # 按照Coolblue的实际HTML结构补全解析规则
        }
    }
]

# 通用爬取逻辑
with open('RTX_avail.csv', 'w', newline='', encoding='utf-8') as csv_file:
    csv_writer = writer(csv_file)
    csv_writer.writerow(['站点', '商品名称', '品牌', '价格', '库存状态', '商品链接'])
    # 通用请求头,避免被零售站点拦截
    request_headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    }

    for rule in SITE_RULES:
        # 单站点发请求
        resp = requests.get(rule["target_url"], headers=request_headers, timeout=10)
        resp.raise_for_status()
        soup = BeautifulSoup(resp.text, 'html.parser')
        # 按当前站点规则抓所有商品块
        products = soup.find_all(
            name=rule["product_list_selector"]["tag"],
            attrs=rule["product_list_selector"]["attr"]
        )
        # 逐个解析商品,加容错不中断全流程
        for product in products:
            try:
                data = rule["custom_parse"](product)
                row = [
                    rule["site_tag"],
                    data["title"],
                    data["brand"],
                    data["price"],
                    data["availability"],
                    data["product_url"]
                ]
                csv_writer.writerow(row)
                print(row)
            except AttributeError:
                # 单个商品结构变动时跳过,不影响其他商品解析
                continue

如果你坚持用if-else实现的正确写法

循环中必须以当前遍历的单条URL为判断依据,不能对整个列表做判断:

核心逻辑参考

url_list = [
    'https://www.alternate.nl/Grafische-kaarten/RTX-3070',
    'https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070'
]
for current_url in url_list:
    # 每次循环单独发请求
    resp = requests.get(current_url)
    soup = BeautifulSoup(resp.text, 'html.parser')
    # 判断当前遍历的URL,走对应解析规则
    if current_url == 'https://www.alternate.nl/Grafische-kaarten/RTX-3070':
        # 执行Alternate的原有解析逻辑
    elif current_url == 'https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070':
        # 执行Coolblue对应的解析逻辑

优化建议

  • 所有解析步骤加容错判断,遇到单个页面结构变动、类名修改的情况,爬虫不会直接崩溃
  • 写CSV时加newline=''参数,避免Windows环境下生成的文件出现连续空行
  • 请求加通用User-Agent头,避免被站点的反爬机制直接拦截
  • 对重复爬取的场景,可加简单的请求间隔,避免短时间发太多请求被站点封IP

内容的提问来源于stack exchange,提问作者Jorginton

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 11:36:05