You need to enable JavaScript to run this app. 基于Python Selenium的电商爬虫采集商品名价格导出CSV出现重复数据的修复求助
优惠活动
大模型
产品
解决方案
定价
更多

基于Python Selenium的电商爬虫采集商品名价格导出CSV出现重复数据的修复求助

问题根因定位

你遇到的导出异常本质是全量数据链路断裂,和Selenium本身的采集逻辑无关:

  • 你当前的调试打印能拿到逐页、逐条目正确的名称、价格,是因为打印动作发生在循环内部,读取的是当前迭代的实时变量值
  • 但你在循环外部做导出时,没有把每一次迭代拿到的单条数据做持久化存储,仅依靠两个全局单值变量承接循环结果——这两个变量在循环跑完后,只会保留最后一次迭代的赋值,之前所有条目对应的文本值都被覆盖丢失
  • 后续你用「单值 * 总条目数」的方式构造pandas数据集,自然会把最后留存的那一条名称、价格,重复填充到CSV的每一行。

你当前错误的导出逻辑大致对应如下代码片段:

# 错误实现示例
all_item_count = 0
for page in range(遍历总页数):
    items = driver.find_elements(列表条目定位)
    for item in items:
        all_item_count +=1
        # 单值变量被每轮循环反复覆盖
        item_title = item.find_element(标题定位).text
        item_price = item.find_element(价格定位).text
        print(item_title, item_price) # 打印正常

# 循环结束后,item_title/item_price仅保留最后一轮的赋值
df = pd.DataFrame({
    "商品名称": [item_title]*all_item_count,
    "价格": [item_price]*all_item_count
})
df.to_csv("result.csv")
分步骤修复方案

1. 搭建全量数据持久化容器

在所有循环逻辑(驱动初始化、关键词搜索、页面遍历)的最外层,提前初始化一个空列表作为全量数据的统一存储载体:

# 放在Selenium driver初始化完成、开始搜索动作之前
collected_products = []

2. 修改循环内部的数据收集逻辑

把原本仅做调试打印的环节,调整为每拿到一条有效名称、价格文本,就立刻以字典形式追加到全局存储列表中,全程保留所有历史采集值,不要仅靠单值变量做覆盖式存储:

for page in range(设定的遍历页数):
    # 保留你现有的翻页、页面加载等待逻辑
    item_list = driver.find_elements(列表条目统一定位)
    for item in item_list:
        try:
            # 保留你现有的文本提取逻辑,加上strip清除首尾空白
            current_title = item.find_element(标题定位规则).text.strip()
            current_price = item.find_element(价格定位规则).text.strip()
            # 核心修改:将单条数据追加到全局列表,不做覆盖
            collected_products.append({
                "商品名称": current_title,
                "价格": current_price
            })
        except Exception:
            # 单个条目定位失败时直接跳过,不中断整体采集流程
            continue

3. 基于全量列表生成规范CSV

在所有页面、所有条目遍历完全结束后,直接用存储了全量条目的列表生成pandas数据集导出,不需要手动计算长度做重复填充:

# 所有采集流程全部完成后再执行导出
if collected_products:
    # 严格限定列顺序和列名,仅保留需求要求的两个字段
    output_df = pd.DataFrame(collected_products, columns=["商品名称", "价格"])
    # 加utf-8-sig编码避免中文导出乱码
    output_df.to_csv("商品采集结果.csv", index=False, encoding="utf-8-sig")
    # 增加校验提示,方便确认行数匹配
    print(f"导出完成,共写入{len(output_df)}条有效商品数据")
else:
    print("未采集到有效数据,请检查元素定位规则")
落地校验要点
  • 导出前打印len(collected_products)的数值,和你逐页调试时累计统计的条目总数做比对,确保CSV总行数和实际抓取数完全一致
  • 不需要在数据列表里额外存储页码、条目序号这类无关字段,严格匹配两列结构的导出要求
  • 如果存在翻页时元素重复加载的问题,可以在追加数据时增加简单去重判断,避免同一条商品被重复写入

内容的提问来源于stack exchange,提问作者Tretecou

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 11:45:11