Python爬虫导出csv时writer.writerow(data)报已关闭文件I/O操作的ValueError
报错根本原因
触发ValueError: I/O operation on closed file的核心问题是CSV文件的操作上下文范围写错:
Python 中通过with语句打开文件时,代码块执行结束会自动释放资源、关闭文件句柄。你的代码大概率把「遍历文章节点、逐行写入CSV」的逻辑写到了with打开文件的代码块外部,等到循环执行到writer.writerow(data)时,文件已经被提前关闭,此时再调用写入操作就会抛出I/O错误。
典型错误代码结构参考:
import csv # 打开文件、创建写入器的代码块 with open("article.csv", "w") as f: writer = csv.writer(f) writer.writerow(["Title", "Date", "Intro"]) # with块执行完毕,文件已经被自动关闭 # 以下遍历、写入逻辑全部在块外,此时writer关联的文件已失效 for article_node in article_list: title = article_node.find("h2").text.strip() date = article_node.find(".published").text.strip() intro = article_node.find(".excerpt").text.strip() data = [title, date, intro] writer.writerow(data) # 此处触发报错
可正常运行的修复方案
修复逻辑
- 把所有依赖文件句柄的操作(写表头、遍历文章节点、逐行写数据)全部放到
with文件上下文块内部,保证整个写入流程中文件处于打开状态 - 给网络请求补全基础请求头,避免被目标站点反爬拦截
- 补全新闻节点的字段提取规则,匹配目标站点的页面结构
完整可运行代码
import requests from bs4 import BeautifulSoup import csv # 目标站点新闻列表地址 main_url = "https://www.datatrust.construction/news/" def webscraper(url): # 模拟浏览器请求头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } # 发起请求获取页面内容 resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() # 用html.parser解析返回内容 soup = BeautifulSoup(resp.text, "html.parser") return soup # 获取页面解析对象 soup = webscraper(main_url) # 定位新闻列表容器 article_container = soup.find("div", class_="et_pb_ajax_pagination_container") # 所有文件写入逻辑全部放在with块内部 with open("article.csv", "w", encoding="utf-8-sig", newline="") as csv_file: writer = csv.writer(csv_file) # 写入表头 writer.writerow(["Title", "Date", "Intro"]) # 遍历容器内的每篇新闻节点 for article in article_container.find_all("article"): # 提取标题 title_elem = article.find("h2") title = title_elem.get_text(strip=True) if title_elem else "" # 提取发布日期 date_elem = article.find(class_="post-meta") date = date_elem.get_text(strip=True) if date_elem else "" # 提取内容简介 intro_elem = article.find(class_="post-content") intro = intro_elem.get_text(strip=True)[:200] if intro_elem else "" # 逐行写入CSV data = [title, date, intro] writer.writerow(data)
注意事项
- 打开CSV时加
newline=""参数,避免Windows系统下导出的文件出现多余空行 - 用
utf-8-sig编码写入,保证打开CSV时中文内容不会出现乱码 - 提取字段时加空值判断,避免页面元素变动导致脚本崩溃
内容的提问来源于stack exchange,提问作者Me M
相关产品推荐
相关产品推荐

