如何解决eBay爬虫for循环写入CSV时仅留存最后一条数据的问题
原有代码的核心问题
- 文件打开模式错误:在for循环内部使用
mode='w'打开CSV,该模式每次触发文件打开操作时都会清空文件内的所有原有内容,循环运行多少轮就会清空多少次,最终只会留存最后一次循环写入的单条数据。 - 变量定义混乱:代码中
writers = csv.writer(writers)是逻辑错误的写法,后续调用的employee_writer未提前初始化,本来就会触发运行时报错,靠except块吞掉了异常提示。 - 逻辑位置错误:把表头写入逻辑放在for循环内部,就算修正了打开模式,也会在每一轮循环中重复插入表头,导致CSV表格结构完全错乱。
- 重复开关文件:每循环一次就执行一次文件打开、关闭操作,不仅效率极低,还容易因为中途程序终止丢失已采集的全部数据。
正确实现逻辑
- 将文件打开、CSV写入器初始化的操作全部移到for循环外部,整个采集流程全程只打开一次文件,不会出现反复清空内容的问题。
- 仅在循环开始前写入一次表头,后续循环遍历到单个商品条目时,直接把提取到的字段追加写入新行,不会覆盖之前的内容。
- 打开文件时增加
newline=''参数,避免Windows环境下生成的CSV出现多余空行;指定encoding='utf-8-sig',防止中文内容乱码。 - 给每个字段的提取增加空值判断,避免因单个元素缺失中断整个循环。
- 跳过搜索结果页前2个无实际商品数据的占位块,避免写入无效空行。
修正后可直接运行的代码
import requests import csv from bs4 import BeautifulSoup headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'} searchterm = "Laptops" url = f'https://www.ebay.com/sch/i.html?_from=R40&_nkw={searchterm}&_sacat=0&LH_PrefLoc=1&LH_Auction=1&rt=nc&LH_Sold=1&LH_Complete=1' response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') # 循环外一次性打开文件,全程只执行一次开关操作 with open('Products.csv', mode='w', newline='', encoding='utf-8-sig') as csv_file: # 正确初始化写入器,绑定打开的文件对象 csv_writer = csv.writer(csv_file) # 写入一次表头,匹配参考的表格列结构 csv_writer.writerow(['商品名称', '商品状态', '价格', '所在地', '运费']) # 跳过前2个无有效商品的占位元素 for item in soup.select('.s-item')[2:]: try: # 逐字段提取,缺失内容时自动填空字符串 title = item.select_one('.s-item__title').get_text(strip=True) subtitle = item.select_one('.s-item__subtitle').get_text(strip=True) if item.select_one('.s-item__subtitle') else '' price = item.select_one('.s-item__price').get_text(strip=True) if item.select_one('.s-item__price') else '' location = item.select_one('.s-item__location').get_text(strip=True).replace('位于 ', '') if item.select_one('.s-item__location') else '' shipping = item.select_one('.s-item__shipping').get_text(strip=True) if item.select_one('.s-item__shipping') else '' # 控制台打印调试信息 print(f"已采集:{title}") print("----------------------------------------------\n") # 当前循环的商品信息逐行写入,不会覆盖已有内容 csv_writer.writerow([title, subtitle, price, location, shipping]) except Exception as e: print(f"跳过异常条目,原因:{str(e)}")
运行效果
- 生成的CSV文件第一行为统一表头,后续每一行对应一个采集到的商品,不会出现内容被覆盖的问题,所有循环采集到的数据都会完整留存。
- 表格列项完全匹配参考样式,打开时不会出现中文乱码、多余空行的问题。
内容的提问来源于stack exchange,提问作者code-me-py
相关产品推荐
相关产品推荐

