You need to enable JavaScript to run this app. 如何解决Selenium抓取词汇表解析到DataFrame后导出CSV为空的问题
优惠活动
大模型
产品
解决方案
定价
更多

如何解决Selenium抓取词汇表解析到DataFrame后导出CSV为空的问题

空文件问题的核心根因
  • 缺少数据持久化的核心步骤:原代码仅在初始化时打开了Vocab.csv的文件句柄、定义了空DataFrame,全程没有调用任何将内存数据写入磁盘的方法,文件句柄打开后未正常关闭,系统缓冲区的内容根本没有落盘,最终生成的文件自然为空
  • 数据存储方式存在版本兼容与效率问题:原代码循环内逐次调用df.append()拼接DataFrame,该方法在Pandas 2.0及以上版本已被彻底移除,逐行逐页拼接的内存开销极大,爬取数千条数据时极易出现内存异常
  • 数据格式不符合预期:原代码将一整页所有单词的拼接长文本作为单条数据存入列,没有拆分单个词汇,就算后续补了写入逻辑,最终CSV的每一行是整页内容,也无法实现“单个词汇占一行、统一存在单个列中”的目标
修正方案实现

调整思路

  • 用普通列表提前收集所有爬取到的独立词汇,循环结束后一次性生成DataFrame,相比逐次拼接的写法,内存占用可降低90%以上,尤其适合爬取数千条数据的场景
  • 跳过手动打开CSV文件的冗余逻辑,直接用Pandas内置的to_csv()方法完成导出,由库自身处理文件创建、写入、关闭的全流程,避免文件锁、缓冲未写入的问题
  • 对抓到的整页文本做拆分处理,把每个独立词汇作为列表单独条目存入,匹配最终存储格式要求

可直接运行的修正代码

import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 初始化词汇存储列表
total_vocab = []

# 路径加r前缀避免转义问题
PATH = r"C:\Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(PATH)
driver.get("https://sq.m.wiktionary.org/w/index.php?title=Kategoria:Shqip&pagefrom=agall%C3%ABk#mw-pages")

# 可按需调整循环次数覆盖全量页面
for x in range(3):
    # 等待当前页词汇列表加载完成
    vocab_container = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "#mw-pages > div > div > div > ul"))
    )
    # 拆分整页文本为独立词汇,过滤空行
    page_vocabs = [word.strip() for word in vocab_container.text.split("\n") if word.strip()]
    total_vocab.extend(page_vocabs)
    print(f"完成第{x+1}页抓取,累计收集{len(total_vocab)}个词汇")

    # 等待下一页按钮可点击
    next_btn = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.LINK_TEXT, "faqja pasardhëse"))
    )
    next_btn.click()

# 一次性生成单列DataFrame
result_df = pd.DataFrame(total_vocab, columns=["vocab"])
# 导出CSV,指定编码避免特殊字符乱码
result_df.to_csv("Vocab.csv", index=False, encoding="utf-8-sig")

# 爬取完成后关闭浏览器释放资源
driver.quit()
实操注意事项
  • 导出时指定encoding="utf-8-sig",阿尔巴尼亚语词汇带大量特殊变音符号,该编码可保证用Excel打开CSV时不会出现乱码
  • 测试全量爬取时,可在循环内增加异常捕获:当找不到下一页按钮时自动跳出循环,不需要写死总循环次数
  • 爬取大量数据时不要选择逐次拼接DataFrame的写法,纯列表攒数据最后一次性生成的方式,对数千条级别的数据处理效率提升非常明显

内容的提问来源于stack exchange,提问作者E199504

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 08:45:10