You need to enable JavaScript to run this app. 如何用f.write写入不同for循环结果?解决BeautifulSoup爬取重复问题
优惠活动
大模型
产品
解决方案
定价
更多

如何用f.write写入不同for循环结果?解决BeautifulSoup爬取重复问题

职位信息爬取CSV写入重复问题的修正方案

核心重复原因

采用三层嵌套循环遍历三个字段列表的写法,本质是对职位标题、城市、类型三个列表做笛卡尔积运算。
比如页面上有5个职位,对应三个长度均为5的平行提取列表,三层嵌套循环会生成555=125条交叉冗余记录,这就是输出大量重复的直接根源。

核心认知偏差:通过find_all从同一页面提取的三类职位字段,是按顺序平行对应的关系——第i个职位的标题、城市、类型,分别存储在三个列表的第i个位置,不存在层级从属关系,完全不需要多层嵌套循环。

正确的写入实现步骤

  • 遍历前先校验三个提取列表的长度一致性,避免索引错位:可添加判断assert len(title_list) == len(city_list) == len(type_list), "字段提取结果长度不匹配,请检查find_all的选择器规则"
  • 改用单次索引循环,按位置配对同一条职位的三个字段值
  • 打开文件后仅在初始化阶段写入一次表头,后续逐行拼接单条职位记录写入,每行末尾加换行符保证CSV格式正确

示例代码

from bs4 import BeautifulSoup

# 原有页面解析逻辑
# response = requests.get(目标职位页地址)
# soup = BeautifulSoup(response.text, "html.parser")

# 原有find_all提取逻辑
title_list = soup.find_all(你的职位标题选择器)
city_list = soup.find_all(你的城市选择器)
type_list = soup.find_all(你的职位类型选择器)

# 统一用上下文管理器管理文件句柄
with open("test.csv", "w", encoding="utf-8") as f:
    # 仅写入一次表头
    f.write("职位标题,工作城市,职位类型\n")
    # 单次循环按索引配对,无嵌套
    for idx in range(len(title_list)):
        # 提取文本时过滤多余空白
        cur_title = title_list[idx].get_text(strip=True)
        cur_city = city_list[idx].get_text(strip=True)
        cur_type = type_list[idx].get_text(strip=True)
        # 拼接单条记录写入
        f.write(f"{cur_title},{cur_city},{cur_type}\n")

常见注意事项

  • 不要在多层循环内重复调用f.write嵌套拼接不同层级的字段,否则依然会触发笛卡尔积重复
  • 若单个字段存在提取为空的情况,需提前做判空替换(如替换为空字符串),避免拼接时出现None导致CSV列错位
  • 若字段内容本身包含逗号,可将字段值用双引号包裹后再拼接,避免破坏CSV的列分隔规则

内容的提问来源于stack exchange,提问作者wello123

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 14:45:07