基于Python Selenium的电商爬虫采集商品名价格导出CSV出现重复数据的修复求助
问题根因定位
你遇到的导出异常本质是全量数据链路断裂,和Selenium本身的采集逻辑无关:
- 你当前的调试打印能拿到逐页、逐条目正确的名称、价格,是因为打印动作发生在循环内部,读取的是当前迭代的实时变量值
- 但你在循环外部做导出时,没有把每一次迭代拿到的单条数据做持久化存储,仅依靠两个全局单值变量承接循环结果——这两个变量在循环跑完后,只会保留最后一次迭代的赋值,之前所有条目对应的文本值都被覆盖丢失
- 后续你用「单值 * 总条目数」的方式构造pandas数据集,自然会把最后留存的那一条名称、价格,重复填充到CSV的每一行。
你当前错误的导出逻辑大致对应如下代码片段:
# 错误实现示例 all_item_count = 0 for page in range(遍历总页数): items = driver.find_elements(列表条目定位) for item in items: all_item_count +=1 # 单值变量被每轮循环反复覆盖 item_title = item.find_element(标题定位).text item_price = item.find_element(价格定位).text print(item_title, item_price) # 打印正常 # 循环结束后,item_title/item_price仅保留最后一轮的赋值 df = pd.DataFrame({ "商品名称": [item_title]*all_item_count, "价格": [item_price]*all_item_count }) df.to_csv("result.csv")
分步骤修复方案
1. 搭建全量数据持久化容器
在所有循环逻辑(驱动初始化、关键词搜索、页面遍历)的最外层,提前初始化一个空列表作为全量数据的统一存储载体:
# 放在Selenium driver初始化完成、开始搜索动作之前 collected_products = []
2. 修改循环内部的数据收集逻辑
把原本仅做调试打印的环节,调整为每拿到一条有效名称、价格文本,就立刻以字典形式追加到全局存储列表中,全程保留所有历史采集值,不要仅靠单值变量做覆盖式存储:
for page in range(设定的遍历页数): # 保留你现有的翻页、页面加载等待逻辑 item_list = driver.find_elements(列表条目统一定位) for item in item_list: try: # 保留你现有的文本提取逻辑,加上strip清除首尾空白 current_title = item.find_element(标题定位规则).text.strip() current_price = item.find_element(价格定位规则).text.strip() # 核心修改:将单条数据追加到全局列表,不做覆盖 collected_products.append({ "商品名称": current_title, "价格": current_price }) except Exception: # 单个条目定位失败时直接跳过,不中断整体采集流程 continue
3. 基于全量列表生成规范CSV
在所有页面、所有条目遍历完全结束后,直接用存储了全量条目的列表生成pandas数据集导出,不需要手动计算长度做重复填充:
# 所有采集流程全部完成后再执行导出 if collected_products: # 严格限定列顺序和列名,仅保留需求要求的两个字段 output_df = pd.DataFrame(collected_products, columns=["商品名称", "价格"]) # 加utf-8-sig编码避免中文导出乱码 output_df.to_csv("商品采集结果.csv", index=False, encoding="utf-8-sig") # 增加校验提示,方便确认行数匹配 print(f"导出完成,共写入{len(output_df)}条有效商品数据") else: print("未采集到有效数据,请检查元素定位规则")
落地校验要点
- 导出前打印
len(collected_products)的数值,和你逐页调试时累计统计的条目总数做比对,确保CSV总行数和实际抓取数完全一致 - 不需要在数据列表里额外存储页码、条目序号这类无关字段,严格匹配两列结构的导出要求
- 如果存在翻页时元素重复加载的问题,可以在追加数据时增加简单去重判断,避免同一条商品被重复写入
内容的提问来源于stack exchange,提问作者Tretecou
相关产品推荐
相关产品推荐

