如何解决Selenium抓取词汇表解析到DataFrame后导出CSV为空的问题
空文件问题的核心根因
- 缺少数据持久化的核心步骤:原代码仅在初始化时打开了
Vocab.csv的文件句柄、定义了空DataFrame,全程没有调用任何将内存数据写入磁盘的方法,文件句柄打开后未正常关闭,系统缓冲区的内容根本没有落盘,最终生成的文件自然为空 - 数据存储方式存在版本兼容与效率问题:原代码循环内逐次调用
df.append()拼接DataFrame,该方法在Pandas 2.0及以上版本已被彻底移除,逐行逐页拼接的内存开销极大,爬取数千条数据时极易出现内存异常 - 数据格式不符合预期:原代码将一整页所有单词的拼接长文本作为单条数据存入列,没有拆分单个词汇,就算后续补了写入逻辑,最终CSV的每一行是整页内容,也无法实现“单个词汇占一行、统一存在单个列中”的目标
修正方案实现
调整思路
- 用普通列表提前收集所有爬取到的独立词汇,循环结束后一次性生成DataFrame,相比逐次拼接的写法,内存占用可降低90%以上,尤其适合爬取数千条数据的场景
- 跳过手动打开CSV文件的冗余逻辑,直接用Pandas内置的
to_csv()方法完成导出,由库自身处理文件创建、写入、关闭的全流程,避免文件锁、缓冲未写入的问题 - 对抓到的整页文本做拆分处理,把每个独立词汇作为列表单独条目存入,匹配最终存储格式要求
可直接运行的修正代码
import pandas as pd from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 初始化词汇存储列表 total_vocab = [] # 路径加r前缀避免转义问题 PATH = r"C:\Program Files (x86)\chromedriver.exe" driver = webdriver.Chrome(PATH) driver.get("https://sq.m.wiktionary.org/w/index.php?title=Kategoria:Shqip&pagefrom=agall%C3%ABk#mw-pages") # 可按需调整循环次数覆盖全量页面 for x in range(3): # 等待当前页词汇列表加载完成 vocab_container = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "#mw-pages > div > div > div > ul")) ) # 拆分整页文本为独立词汇,过滤空行 page_vocabs = [word.strip() for word in vocab_container.text.split("\n") if word.strip()] total_vocab.extend(page_vocabs) print(f"完成第{x+1}页抓取,累计收集{len(total_vocab)}个词汇") # 等待下一页按钮可点击 next_btn = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.LINK_TEXT, "faqja pasardhëse")) ) next_btn.click() # 一次性生成单列DataFrame result_df = pd.DataFrame(total_vocab, columns=["vocab"]) # 导出CSV,指定编码避免特殊字符乱码 result_df.to_csv("Vocab.csv", index=False, encoding="utf-8-sig") # 爬取完成后关闭浏览器释放资源 driver.quit()
实操注意事项
- 导出时指定
encoding="utf-8-sig",阿尔巴尼亚语词汇带大量特殊变音符号,该编码可保证用Excel打开CSV时不会出现乱码 - 测试全量爬取时,可在循环内增加异常捕获:当找不到下一页按钮时自动跳出循环,不需要写死总循环次数
- 爬取大量数据时不要选择逐次拼接DataFrame的写法,纯列表攒数据最后一次性生成的方式,对数千条级别的数据处理效率提升非常明显
内容的提问来源于stack exchange,提问作者E199504
相关产品推荐
相关产品推荐

