如何将Selenium+Beautiful Soup爬取多字段导出为Google Colab中CSV文件
核心问题排查
你当前代码无法生成带独立列CSV的根源有三个:
- 循环内定义的清洗后变量都是局部作用域,每轮循环会覆盖上一轮的取值,爬虫跑完后不会保留全部爬取到的商品记录
- 对Selenium返回的WebElement对象直接强转为字符串再传入BeautifulSoup解析,属于完全错位的操作:强转后的字符串是Python代表对象的内存标识文本,不是网页HTML源码,BS解析后根本拿不到有效的商品内容
- 没有将单条商品的title、price等字段映射为结构化键值对,自然无法实现“每个属性对应CSV独立列”的要求
可直接复用的修改步骤
- 在执行无限滚动的代码块之后、启动商品爬取循环之前,初始化全局存储容器:
# 全局空列表,存储所有爬取到的结构化商品记录 all_records = []
- 替换原有循环内的字段提取逻辑,去掉冗余的字符串转换和BeautifulSoup解析——Selenium的WebElement本身自带
.text属性,直接返回元素内部的纯文本,已经完成了HTML标签的剥离,不需要额外做清洗,同时加上空值判断避免Xpath匹配失败导致爬虫中断:
for x in range(2, 200): # 单条商品记录,字典的key会直接成为CSV的列名 item = {} # 提取标题 title_xpath = f"//*[@id='shop']/div/div/div[3]/div[2]/div/div[{x}]/a/div[3]/div[2]/p" title_elems = wd.find_elements_by_xpath(title_xpath) item["title"] = title_elems[0].text.strip() if title_elems else "" # 提取价格 price_xpath = f"//*[@id='shop']/div/div/div[3]/div[2]/div/div[{x}]/div/div/p/span" price_elems = wd.find_elements_by_xpath(price_xpath) item["price"] = price_elems[0].text.strip() if price_elems else "" # 提取尺寸 size_xpath = f"//*[@id='shop']/div/div/div[3]/div[2]/div/div[{x}]/a/div[3]/div[1]/p[2]" size_elems = wd.find_elements_by_xpath(size_xpath) item["size"] = size_elems[0].text.strip() if size_elems else "" # 提取售出状态 sold_xpath = f"//*[@id='shop']/div/div/div[3]/div[2]/div/div[{x}]/a/p/span" sold_elems = wd.find_elements_by_xpath(sold_xpath) item["sold"] = sold_elems[0].text.strip() if sold_elems else "" # 将单条记录追加到全局存储列表 all_records.append(item)
注:你原来代码里把
find_elements_by_xpath的返回值直接强转str()的步骤是无效的,这个操作得到的字符串格式是<selenium.webdriver.remote.webelement.WebElement (session="xxx", element="xxx")>,根本不是网页的HTML源码,传给BeautifulSoup也解析不出有效内容,直接删除即可。
- 调用Pandas将结构化记录转为带独立列的DataFrame,直接导出适配Colab环境的CSV文件:
# 将记录列表转为DataFrame,字典的key自动映射为CSV独立列 df = pd.DataFrame(all_records) # 导出为CSV,设置UTF-8-BOM编码避免中文乱码,不写入行索引 df.to_csv("grailed_sold_list.csv", index=False, encoding="utf-8-sig") # Colab环境下直接弹出下载窗口 from google.colab import files files.download("grailed_sold_list.csv")
额外优化提示
- 如果需要长期留存文件,可以取消代码里Google Drive挂载的注释,将导出路径改为Drive下的对应目录,无需每次手动下载
- 原来代码里导入的
io、StringIO、csv模块属于冗余依赖,Pandas的CSV导出功能已经完全覆盖这些操作,可以删掉减少代码冗余 - 可以根据实际页面加载速度调整滚动等待时间和爬取的商品序号范围,避免因为DOM未加载完成导致Xpath匹配为空,出现漏采
内容的提问来源于stack exchange,提问作者kyle martin
相关产品推荐
相关产品推荐

