如何用f.write写入不同for循环结果?解决BeautifulSoup爬取重复问题
职位信息爬取CSV写入重复问题的修正方案
核心重复原因
采用三层嵌套循环遍历三个字段列表的写法,本质是对职位标题、城市、类型三个列表做笛卡尔积运算。
比如页面上有5个职位,对应三个长度均为5的平行提取列表,三层嵌套循环会生成555=125条交叉冗余记录,这就是输出大量重复的直接根源。
核心认知偏差:通过
find_all从同一页面提取的三类职位字段,是按顺序平行对应的关系——第i个职位的标题、城市、类型,分别存储在三个列表的第i个位置,不存在层级从属关系,完全不需要多层嵌套循环。
正确的写入实现步骤
- 遍历前先校验三个提取列表的长度一致性,避免索引错位:可添加判断
assert len(title_list) == len(city_list) == len(type_list), "字段提取结果长度不匹配,请检查find_all的选择器规则" - 改用单次索引循环,按位置配对同一条职位的三个字段值
- 打开文件后仅在初始化阶段写入一次表头,后续逐行拼接单条职位记录写入,每行末尾加换行符保证CSV格式正确
示例代码
from bs4 import BeautifulSoup # 原有页面解析逻辑 # response = requests.get(目标职位页地址) # soup = BeautifulSoup(response.text, "html.parser") # 原有find_all提取逻辑 title_list = soup.find_all(你的职位标题选择器) city_list = soup.find_all(你的城市选择器) type_list = soup.find_all(你的职位类型选择器) # 统一用上下文管理器管理文件句柄 with open("test.csv", "w", encoding="utf-8") as f: # 仅写入一次表头 f.write("职位标题,工作城市,职位类型\n") # 单次循环按索引配对,无嵌套 for idx in range(len(title_list)): # 提取文本时过滤多余空白 cur_title = title_list[idx].get_text(strip=True) cur_city = city_list[idx].get_text(strip=True) cur_type = type_list[idx].get_text(strip=True) # 拼接单条记录写入 f.write(f"{cur_title},{cur_city},{cur_type}\n")
常见注意事项
- 不要在多层循环内重复调用
f.write嵌套拼接不同层级的字段,否则依然会触发笛卡尔积重复 - 若单个字段存在提取为空的情况,需提前做判空替换(如替换为空字符串),避免拼接时出现
None导致CSV列错位 - 若字段内容本身包含逗号,可将字段值用双引号包裹后再拼接,避免破坏CSV的列分隔规则
内容的提问来源于stack exchange,提问作者wello123
相关产品推荐
相关产品推荐

