如何使用Python结合BS4实现多站点RTX 3070显卡库存爬虫
多站点RTX 3070库存爬虫适配实现方案
原有代码的核心错误点
requests.get()仅支持传入单个URL字符串参数,不能直接接收整个URL列表,之前写法requests.get(urls)会直接触发类型错误,必须遍历列表逐条发请求- 分支判断对象错误:循环中判断的目标应该是当前遍历到的单条URL,而非整个URL列表;原写法中else分支未给
ticker变量赋值就直接引用,会触发未定义报错 - 硬编码if-else分支的维护成本极高,随着站点数量增加,核心爬取流程会被分支逻辑完全挤占
可直接复用的多站点爬取框架
不需要写嵌套多层的if-else判断,把每个站点的解析规则抽成独立配置项,核心爬取流程通用复用,后续加新站点只要往配置列表补充规则即可:
import requests from bs4 import BeautifulSoup from csv import writer # 站点配置表,后续加新站点直接往这里加条目即可 SITE_RULES = [ { "site_tag": "Alternate", "target_url": "https://www.alternate.nl/Grafische-kaarten/RTX-3070", "product_list_selector": {"tag": "div", "attr": {"class_": "listRow"}}, "custom_parse": lambda product: { "title": product.find(class_='name').get_text(strip=True), "product_url": f"alternate.nl{product.find('a')['href']}", "price": product.find(class_='price right right10').get_text(strip=True).replace("€ ","").replace(',-*',''), "stock_text": product.find(class_='stockStatusContainer complete').get_text(strip=True), "availability": "Not Available" if "Pre-order" in product.find(class_='stockStatusContainer complete').get_text() else "Available", "brand": product.find(class_='name').get_text(strip=True).split(' ', 1)[0] } }, { "site_tag": "Coolblue", "target_url": "https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070", "product_list_selector": {"tag": "div", "attr": {"class_": "替换为Coolblue商品列表的实际类名"}}, "custom_parse": lambda product: { # 按照Coolblue的实际HTML结构补全解析规则 } } ] # 通用爬取逻辑 with open('RTX_avail.csv', 'w', newline='', encoding='utf-8') as csv_file: csv_writer = writer(csv_file) csv_writer.writerow(['站点', '商品名称', '品牌', '价格', '库存状态', '商品链接']) # 通用请求头,避免被零售站点拦截 request_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } for rule in SITE_RULES: # 单站点发请求 resp = requests.get(rule["target_url"], headers=request_headers, timeout=10) resp.raise_for_status() soup = BeautifulSoup(resp.text, 'html.parser') # 按当前站点规则抓所有商品块 products = soup.find_all( name=rule["product_list_selector"]["tag"], attrs=rule["product_list_selector"]["attr"] ) # 逐个解析商品,加容错不中断全流程 for product in products: try: data = rule["custom_parse"](product) row = [ rule["site_tag"], data["title"], data["brand"], data["price"], data["availability"], data["product_url"] ] csv_writer.writerow(row) print(row) except AttributeError: # 单个商品结构变动时跳过,不影响其他商品解析 continue
如果你坚持用if-else实现的正确写法
循环中必须以当前遍历的单条URL为判断依据,不能对整个列表做判断:
核心逻辑参考
url_list = [ 'https://www.alternate.nl/Grafische-kaarten/RTX-3070', 'https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070' ] for current_url in url_list: # 每次循环单独发请求 resp = requests.get(current_url) soup = BeautifulSoup(resp.text, 'html.parser') # 判断当前遍历的URL,走对应解析规则 if current_url == 'https://www.alternate.nl/Grafische-kaarten/RTX-3070': # 执行Alternate的原有解析逻辑 elif current_url == 'https://www.coolblue.nl/videokaarten/nvidia-chipset/nvidia-rtx-3070': # 执行Coolblue对应的解析逻辑
优化建议
- 所有解析步骤加容错判断,遇到单个页面结构变动、类名修改的情况,爬虫不会直接崩溃
- 写CSV时加
newline=''参数,避免Windows环境下生成的文件出现连续空行 - 请求加通用User-Agent头,避免被站点的反爬机制直接拦截
- 对重复爬取的场景,可加简单的请求间隔,避免短时间发太多请求被站点封IP
内容的提问来源于stack exchange,提问作者Jorginton
相关产品推荐
相关产品推荐

